RDK X5 五大多媒体 Demo 功能完整对比数据源链路统一基于hobot-multimedia先给核心一句话区分vio_captureMIPI 相机图像采集基础底层示例采集裸 NV12 帧vio2encoderMIPI 相机采集 → 硬件编码 H264/H265保存码流 / 网络推流vio2displayMIPI 相机采集 → 直接硬件 HDMI 预览实时画面查看decode2display本地码流文件 → 硬件解码 → HDMI 预览rtsp2display网络 RTSP 流拉取 → 硬件解码 → HDMI 预览一、逐个详解数据源、数据流、用途、典型场景1. vio_capture数据源MIPI CSIISP 输出 NV12完整链路CSI 相机 → ISP 硬件采集 → 输出 NV12 图像帧程序获取图像 Buffer可以保存 NV12 图片或者送入 BPU 推理。✅ 功能获取相机原始 YUV 图像不编码原始文件、不直接显示。❌ 不包含编码、显示模块。定位最底层采集基础 Demo典型用途双目 VIO 采集、BPU 目标检测开发、抓取原始图像做算法调试。2. vio2encoder数据源MIPI CSI 相机完整链路CSI→ISP 采集 NV12 →VPU 硬件编码器 → H.264/H.265 码流输出。码流可以写入本地.h264/.h265文件也可以提供给程序做 RTSP 推流。✅ 功能实时把相机画面压缩成视频码流。❌ 默认不预览画面没有 Display 模块。典型用途机器人本地录像、相机视频编码存储。3. vio2display数据源MIPI CSI 相机完整链路CSI→ISP 采集 NV12 →VO 硬件流水线 → HDMI 显示器实时输出画面。✅ 功能相机画面实时硬件预览零拷贝、低延迟。拓展可加入 Splitter 分流一路显示、一路送入 BPU 做 AI 感知。典型用途机器人实时视觉预览、调相机曝光焦距。4. decode2display数据源本地 H264/H265 码流文件裸流 / MP4完整链路码流文件读取 →VPU 硬件解码器被需要CPU解码→ NV12 → VO 硬件显示。✅ 功能回放本地录像文件HDMI 播放。典型用途机器人录制的录像文件本地回放测试。5. rtsp2display数据源网络 RTSP 视频流IPC、PC ffmpeg、RTSP 服务器完整链路网络拉取RTSP (RTP 包) → 组 NAL 单元 →VPU 硬件解码→ NV12 → VO HDMI 显示。✅ 功能远程网络摄像头实时预览。典型用途机器人外接网络 IPC 摄像头监控。二、五大 Demo 核心对比表PPT 直接使用表格示例名称图像数据源核心链路输出产物核心用途是否经过 VPU 编解码vio_captureMIPI CSI 相机CSI→ISP输出 NV12 裸图NV12 图像帧获取相机原始图像供给 BPU 推理❌ 无编码、无解码vio2encoderMIPI CSI 相机CSI→ISP→VPU 编码器H264/H265 码流文件相机画面实时编码、本地录像✅编码VPU 硬件编码vio2displayMIPI CSI 相机CSI→ISP→VO 显示HDMI 实时画面MIPI 相机实时预览❌ 无编码、无解码decode2display本地 h264/h265 码流文件码流→VPU 解码器→VO 显示HDMI 实时画面本地录像文件回放✅解码VPU 硬件解码rtsp2display网络 RTSP 流网络 RTSP 拉流→VPU 解码器→VO 显示HDMI 实时画面远程网络 IPC 实时预览✅解码VPU 硬件解码三、通俗逻辑归类便于记忆第一大类数据源来自【本地 MIPI 相机】vio_capture只抓原图原料vio2display原料直接投屏预览vio2encoder原料压缩做成视频文件第二大类数据源来自【已经压缩好的视频码流】必须解码decode2display码流来源于本地硬盘文件rtsp2display码流来源于网络 RTSP 服务器四、工程选型快速口诀使用板载 MIPI 相机只想实时看画面 →vio2display使用 MIPI 相机需要保存视频录像 →vio2encoder使用 MIPI 相机拿到图像送入 BPU 做目标检测 →vio_capture回放机器人录制好的 h264 录像文件 →decode2display拉取网络 IPC 摄像头RTSP实时预览 →rtsp2display五、拓展链路互通关系重要开发知识点所有 Demo 共享同一套硬件流水线组件 采集源vio_capture、编码器、解码器、Splitter 分流器、Display 显示 可以自由组合拓展 示例拓展 1vio_capture splitter → 一路 vio2display 预览一路送入 BPU 推理机器人标准视觉感知链路 示例拓展 2vio2encoder 生成 h265 文件后续使用 decode2display 回放六、精简总结vio_capture、vio2encoder、vio2display 数据源均为板载 MIPI 相机vio_capture 仅采集原始 NV12 图像vio2display 实现相机画面 HDMI 实时预览vio2display 将相机图像硬件编码生成视频码流。decode2display、rtsp2display 都依赖硬件解码器decode2display 读取本地码流文件解码回放rtsp2display 通过网络拉取 RTSP 流进行解码预览。