在嵌入式 Linux 摄像头驱动开发中经常会遇到几个关键词V4L2 Subdev Media Controller Media Entity Pad Link /dev/videoX /dev/v4l-subdevX刚开始看摄像头驱动时很容易把它们混在一起。比如我们在 IMX415 或 IMX219 这类 sensor 驱动中经常能看到类似代码imx415-pad.flags MEDIA_PAD_FL_SOURCE; sd-entity.function MEDIA_ENT_F_CAM_SENSOR; ret media_entity_pads_init(sd-entity, 1, imx415-pad);这几行代码看起来不复杂但背后其实就是 Linux 摄像头链路中的Media Controller 框架。本文就从一个最常见的问题讲起为什么摄像头驱动里需要 Media Controller一、为什么需要 Media Controller以前理解摄像头时很多人会认为摄像头驱动加载成功 ↓ 生成 /dev/video0 ↓ 用户程序直接读取图像但在现代 SoC 平台上尤其是 Rockchip、NXP、TI、全志、瑞芯微等嵌入式平台中摄像头系统通常不是一个单独模块而是一整条硬件链路。以 IMX415 为例一帧图像大概会经过IMX415 Sensor ↓ MIPI CSI-2 DPHY ↓ MIPI CSI-2 Receiver ↓ CIF / ISP ↓ Video Capture ↓ /dev/video0这里面每一部分都可能是一个独立驱动IMX415 sensor 驱动 MIPI DPHY 驱动 CSI 接收器驱动 ISP 驱动 video capture 驱动于是问题来了内核怎么知道 IMX415 接到了哪个 CSI CSI 后面又接到了哪个 ISP 用户打开 /dev/video0 时应该启动哪些子设备 每一级的数据格式、分辨率、RAW 排列是否匹配这些事情就需要Media Controller来管理。Linux 官方文档中也说明Media Controller API 的目标之一就是发现设备内部拓扑并在运行时配置它硬件设备和内核接口会被建模为一张有方向的图。所以一句话概括Media Controller 是 Linux 用来描述和管理复杂多媒体硬件链路的框架。二、Media Controller 到底是什么Media Controller 可以理解为摄像头系统中的链路拓扑管理器。它不直接采集图像也不直接处理图像而是负责描述系统中有哪些模块 每个模块有哪些输入/输出端口 这些模块之间怎么连接 数据从哪里流向哪里。它把整个摄像头系统抽象成一张图[IMX415 Sensor] --- [MIPI CSI2] --- [ISP] --- [/dev/video0]在这张图里面有三个最核心的概念entitypadlink可以这样类比entity 一个硬件模块 pad 模块上的输入/输出端口 link 两个端口之间的连接线如果用电路图来类比entity 像一个芯片 pad 像芯片上的引脚 link 像两个芯片引脚之间的连线。三、entity摄像头链路中的一个模块entity是 Media Controller 图中的一个节点。比如IMX415 Sensor 是一个 entity MIPI CSI2 Receiver 是一个 entity ISP 是一个 entity Video Capture 也是一个 entity在 IMX415 驱动中sensor 对应的 V4L2 subdev 内部就带有一个 media entitystruct v4l2_subdev *sd imx415-subdev;其中sd-entity就是这个 sensor 在 Media Controller 框架中的实体。驱动里通常会设置sd-entity.function MEDIA_ENT_F_CAM_SENSOR;这句话的意思是告诉 Media Controller 这个 entity 的功能是 camera sensor。类似地IMX219 驱动中也会把 sensor 设置为MEDIA_ENT_F_CAM_SENSOR并初始化一个 source pad这说明这类 camera sensor 驱动都会把自己注册进 media graph 中。四、pad模块的输入/输出端口只有 entity 还不够。因为一个模块可能有输入也可能有输出。比如 IMX415 是图像源头它只往外输出 RAW 图像数据所以它一般只有一个输出端口imx415-pad.flags MEDIA_PAD_FL_SOURCE;这里的MEDIA_PAD_FL_SOURCE表示这个 pad 是 source pad也就是输出端口。IMX415 可以画成---------------------- | IMX415 | | | | pad0: SOURCE -----|---- ----------------------而 MIPI CSI2 Receiver 通常既有输入也有输出-------------------------- | MIPI CSI2 RX | | | | --- pad0: SINK | | pad1: SOURCE -----|---- --------------------------所以完整连接关系是IMX415 source pad --- CSI2 receiver sink padLinux 官方文档中对 pad 的描述也很明确pad 是 entity 与其他 entity 交互的连接端点数据从 entity 的输出流向一个或多个输入。五、link两个 pad 之间的连接link表示两个 pad 之间的连接线。比如IMX415 pad0 source --- MIPI CSI2 pad0 sink这就是一条 media link。完整摄像头链路可以表示为[IMX415 Sensor] pad0: source | | link v [MIPI CSI2 Receiver] pad0: sink pad1: source | | link v [ISP] pad0: sink pad1: source | | link v [Video Capture] /dev/video0Linux 文档中也说明link 是两个 pad 之间有方向的点对点连接数据从 source pad 流向 sink pad。所以 entity、pad、link 三者关系可以总结为entity 是模块 pad 是模块的端口 link 是端口之间的连接。