1. 项目缘起为什么红外技术成了自动驾驶降本的关键突破口最近和几个做自动驾驶感知的朋友聊天大家都在感慨现在做一套能用的感知系统成本还是太高了。尤其是激光雷达性能是好但价格始终是悬在量产车头上的一把刀。就在大家讨论有没有什么“曲线救国”方案时美国那边传来消息说是有种新的红外相机技术能把成本打下来。这消息一出圈子里讨论得挺热闹。我仔细研究了一下相关的技术论文和产业动态发现这事儿还真不是空穴来风它背后反映的是整个自动驾驶行业从“堆料”到“精算”的深刻转变。过去几年自动驾驶的感知方案基本是“摄像头毫米波雷达激光雷达”的三件套。激光雷达负责提供高精度的三维点云是确保安全冗余的“金标准”但也是最贵的部分。一套车规级激光雷达动辄数千美元对于追求极致性价比的家用车市场来说这是难以承受之重。于是行业一直在寻找既能保证一定性能又能显著降低成本的替代或补充方案。红外相机特别是基于新型半导体材料和读出电路设计的低成本红外相机就这样进入了主流视野。它不像激光雷达那样主动发射激光去探测而是被动接收物体自身发出的红外辐射这本身就省去了昂贵的光学发射模块。这次美国的新技术据说就是在探测器材料和片上集成处理能力上取得了突破让非制冷型红外相机的性能和成本达到了一个前所未有的平衡点。2. 红外相机的“夜视”与“透视”能力超越可见光的感知维度要理解这项技术的价值首先得明白红外相机到底能“看”到什么。我们人眼和普通的RGB摄像头感知的都是可见光波段波长大约在380纳米到750纳米之间。而红外光的波长更长通常在700纳米到1毫米的范围内。物体只要温度高于绝对零度-273.15°C就会向外辐射红外线。红外相机就是专门捕捉这种辐射的“眼睛”。2.1 核心优势一全天候与恶劣天气穿透力这是红外相机最被看好的能力。在夜间、雾天、烟尘或强光眩光如对向远光灯环境下可见光摄像头的性能会急剧下降甚至失效。但红外线特别是长波红外LWIR8-14微米对这些干扰因素的穿透能力要强得多。雾霾和烟尘中的颗粒物对长波红外的散射作用远小于对可见光的散射。这意味着在同样的恶劣条件下红外相机能比可见光相机“看”得更远、更清晰。对于自动驾驶来说这相当于增加了一个极其可靠的“全天候感知通道”大大提升了系统在极端场景下的鲁棒性。2.2 核心优势二热特征识别与生物检测红外相机成像基于温度差异这带来一个独特优势它能直接“看到”物体的热特征。一辆刚刚熄火的汽车发动机舱是热的一个正在过马路的行人体温是恒定的这些在红外图像上会呈现为明亮的区域。这种能力使得红外相机在检测生物行人、动物和判断车辆状态是否刚启动、刹车盘是否过热方面具有先天优势。它不依赖于物体的纹理、颜色或光照条件只依赖于其热辐射特性这在一定程度上简化了识别算法。例如在黑暗的乡村道路上一个穿着深色衣服的行人对于可见光摄像头几乎是隐形的但对于红外相机来说他就像一个明亮的“热源”一样醒目。2.3 与激光雷达的本质区别很多人会把红外相机和激光雷达混淆认为都是“夜视”设备。但它们的原理和输出信息有本质不同。激光雷达是主动测距传感器通过计算激光发射和接收的时间差直接生成高精度的三维点云地图能精确知道每个点的距离。而被动式红外相机输出的是二维的热辐射强度图像它本身不直接提供精确的距离信息虽然可以通过立体红外或与其它传感器融合来估算。激光雷达的优势在于几何精度红外相机的优势在于基于物理特性的分类和恶劣环境下的成像能力。它们更多是互补关系而非替代关系。新技术的目的是让红外相机能以更低的成本承担起部分原来需要激光雷达才能保证安全的功能或者在融合系统中提供更可靠的热特征信息。3. 技术拆解新红外相机如何实现“降本增效”所谓“美国新技术降低成本”其核心突破点主要围绕红外探测器的制造工艺和集成度。传统的红外探测器特别是高性能的制冷型探测器需要复杂的冷却系统来降低噪声体积大、功耗高、价格昂贵根本无法用于消费级汽车。而非制冷型红外探测器Uncooled Infrared Detector一直是降低成本的关键方向这次的技术进步也集中于此。3.1 材料革新从氧化钒到更优的硅基材料早期的非制冷红外探测器多采用氧化钒VOx或非晶硅a-Si作为热敏材料。这些材料虽然实现了非制冷但在灵敏度噪声等效温差NETD、响应速度和长期稳定性上仍有提升空间且制造工艺与主流的硅基半导体工艺兼容性一般导致成本下降有瓶颈。新的技术趋势是采用与标准CMOS工艺完全兼容的新型硅基微测辐射热计材料。例如一些研究机构和公司正在开发基于多孔硅或特殊掺杂硅的微桥结构。这种材料可以直接在现有的硅晶圆厂进行加工利用规模巨大的成熟半导体制造产业链从而将制造成本降低一到两个数量级。同时硅基材料的均一性和稳定性更好有利于提高产品良率和性能一致性。3.2 片上集成SoC把“大脑”和“眼睛”做在一起这是降低系统级成本和功耗的另一大招。传统的红外相机模组探测器芯片和信号处理电路如读出电路、模数转换器、图像预处理单元是分开的需要通过额外的封装和连接增加了尺寸、功耗和成本。新的技术方向是“读出电路内像素级处理”或更先进的“红外感知系统级芯片SoC”。简单说就是在生产红外探测器像素的同时直接在每个像素单元或芯片内部集成一部分模拟或数字处理电路。比如实现片上模数转换ADC让探测器直接输出数字信号或者集成一些简单的预处理功能如非均匀性校正NUC和滤波。这样做的好处非常明显减少外围电路外部需要的元器件更少模组更小巧。降低功耗片内传输和处理比片外传输能耗低得多。提升速度减少了数据在芯片间搬运的延迟响应更快。降低成本系统集成度提高整体BOM物料清单成本下降。3.3 分辨率与帧率的平民化以往低成本红外图像的分辨率往往较低如320x240帧率也有限难以满足自动驾驶对实时性和细节的要求。随着新材料和新工艺的应用新一代低成本红外相机开始向640x512甚至1280x1024的分辨率迈进同时保持高帧率30Hz以上。分辨率的提升意味着更远的有效探测距离和更精细的目标分类能力例如能分辨出行人是否在挥手或者动物的大小。这使得红外相机从单纯的“夜间辅助视觉”角色升级为可参与主流感知融合的合格传感器。4. 在自动驾驶系统中的融合应用实战单靠红外相机无法实现自动驾驶。它的价值在于作为一个强大的补充传感器与可见光摄像头、毫米波雷达甚至低成本激光雷达进行数据融合。下面我结合常见的感知任务聊聊红外数据具体怎么用。4.1 感知任务一夜间与恶劣天气下的目标检测与跟踪这是红外相机的“主场”。在融合系统中可以部署一个专门针对红外图像优化的目标检测网络例如基于YOLO或CenterNet的架构。由于红外图像中目标的热特征显著背景相对简单这个网络可以设计得比可见光网络更轻量。在夜间系统可以赋予红外检测结果更高的置信度权重。当可见光摄像头因眩光失效时系统可以暂时主要依赖红外和雷达的感知结果进行决策。实操中的关键点数据标注与模型训练。获取大量高质量、精准标注的红外自动驾驶数据集是难点。标注时不仅要框出目标最好还能标注其热特征类别如“行人-高热量”、“车辆-引擎热”、“车辆-车身冷”等。训练时可以采用多模态融合训练策略一个分支处理可见光图像一个分支处理红外图像在特征层进行融合早期融合或中期融合让网络自己学习如何结合两种模态的优势。我个人的经验是在红外分支的数据增强上要特别注意模拟热特征的动态变化比如模拟车辆刚熄火后引擎盖逐渐变冷的过程这能提升模型对目标状态判断的鲁棒性。4.2 感知任务二盲区生物预警与防碰撞结合超广角红外相机可以低成本地实现车辆周边特别是A柱、车头正下方等视觉盲区的生物活动监测。当系统检测到有行人或小动物接近且预测轨迹有碰撞风险时可以立即通过声光警告驾驶员或自动触发紧急制动AEB。这个功能对于城市拥堵路况和小区内部道路非常实用。因为红外检测不依赖光照即使有人在车头阴影处蹲下系鞋带系统也能及时发现。这里的一个技术细节是虚警过滤。暖水井盖、排气管、刚刚经过的汽车留下的热轮胎印等都可能被红外相机检测为“热目标”。需要在算法层加入时空连续性校验和先验知识过滤。例如一个静止的、形状规则且热度分布均匀的小区域更可能是井盖而非动物一个热度快速移动并沿轨迹扩散的目标则可能是行人或车辆。4.3 感知任务三与毫米波雷达的“点热”融合毫米波雷达擅长测速和测距但对目标的高度信息和材质分类能力弱无法区分桥牌和卡车。红外相机可以提供目标的二维热轮廓。将雷达检测到的“点”与红外图像中对应的“热斑”进行关联融合能极大地丰富目标属性。例如雷达探测到一个前方静止点红外图像显示该点有集中热源结合地图信息非道路区域可以判断这可能是一个熄火但发动机仍有余热的故障车辆而非一个普通的交通标识牌。这种融合能有效减少雷达的误报如对静止物体的误报提升感知系统的整体可靠性。融合算法通常采用卡尔曼滤波或更先进的深度学习关联网络。核心是解决传感器间的时间同步、坐标标定和数据关联问题。红外与雷达的融合标定比视觉-雷达标定稍简单因为红外图像没有复杂的纹理畸变但需要精确测量红外相机的热成像参数。5. 产业链与成本分析距离大规模上车还有多远一项技术能否真正落地除了性能更要看产业链成熟度和成本。目前全球红外探测器市场主要被美国的FLIR已被Teledyne收购、雷神法国的Lynred以及中国的一些厂商所占据。汽车市场被视为下一个爆发点但车规认证如AEC-Q100和量产成本是两大门槛。5.1 成本下降的驱动因素晶圆级封装WLP技术传统红外探测器采用金属管壳封装成本高。晶圆级封装是在整个硅晶圆上完成探测器的封装和光学窗口集成然后一次性切割成单个芯片这能极大降低封装成本是成本降至百美元级别的关键。CMOS工艺兼容如前所述新材料让红外探测器能在标准CMOS产线上生产直接利用了全球庞大的半导体制造产能规模效应一旦起来成本下降曲线会非常陡峭。国产化替代与竞争中国在红外探测器领域发展迅速已有厂商能提供性能不错的非制冷红外芯片。市场竞争的加剧必然会推动价格下行和技术快速迭代。5.2 系统级成本估算与对比我们来粗略算一笔账。目前一套128线车规级激光雷达的价格大约在500-1000美元。而一个达到640x512分辨率、30Hz帧率、符合车规要求的全新低成本红外相机模组其目标价格可能在150-300美元区间。如果一辆车部署2-3个前视侧后视总成本在300-900美元。虽然不一定比单激光雷达便宜太多但它提供的是完全不同维度的、高可靠性的感知信息。更可能的方案是“降维打击”用1个低成本激光雷达补盲或前向 多个红外相机替代原来1个高性能激光雷达的方案。这样总成本可能控制在800-1200美元比纯堆叠高性能激光雷达的方案可能需2-3个成本超过2000美元有显著优势且在恶劣天气和夜间场景下的综合性能可能更优。5.3 面临的挑战与工程化问题标定与校准红外相机的热成像会随时间发生漂移温漂需要定期进行非均匀性校正NUC。在车载环境下如何实现快速、自动的在线校准是个工程难题。常见的“快门校正”法需要机械快门影响可靠性且增加成本。无快门校正算法是研究热点。数据集与算法生态相比于海量的可见光数据集如COCO, KITTI高质量、场景丰富的红外自动驾驶数据集极度匮乏。这限制了深度学习算法在红外领域的发挥。需要行业共同推动数据集的建立和开源。热干扰与动态场景夏季高温路面、冬季车辆排出的热尾气、阳光反射等都会形成复杂的热背景给目标分割与识别带来挑战。算法需要具备强大的动态热场景理解能力。与现有架构的整合如何将红外数据流高效地接入现有的自动驾驶计算平台如英伟达Orin高通骁龙Ride设计低延迟的融合感知 pipeline并对计算资源进行重新分配是对系统架构师的考验。6. 未来展望红外感知会走向何方我认为红外相机不会取代激光雷达或可见光摄像头但它将成为高级别自动驾驶传感器套件中不可或缺的“标配”成员尤其是在追求安全冗余和全场景通行的L3及以上级别系统中。它的发展可能会沿着以下几个方向深入多光谱/高光谱红外成像不仅仅是单一的红外波段而是同时捕捉多个窄带红外光谱的信息。这就像给红外图像增加了“颜色”能区分不同材料的物体如塑料、橡胶、金属甚至分析物体的化学成分为感知系统提供前所未有的语义信息。事件驱动型红外传感器受生物视觉启发这类传感器不像传统相机那样以固定帧率输出整幅图像而是只报告像素亮度发生变化的事件。它具有极高的动态范围、极低的延迟和功耗。将其用于红外波段可以极其高效地检测出场景中的热源运动特别适合用于低功耗的常开监控如泊车守卫模式。与端到端大模型的结合当前火热的视觉-语言-动作VLA大模型和端到端自动驾驶模型其输入通常是多模态的。红外图像作为一种稳定的物理信号源可以作为一种强大的模态输入给这些大模型帮助模型更好地理解“物理世界”的底层属性冷热、能量而不仅仅是外观纹理。这可能会让自动驾驶系统获得更接近人类“常识”的推理能力。从我个人的工程实践角度看现在正是关注和预研红外感知技术的好时机。虽然大规模量产上车还需克服工程化难题和通过成本考验但其技术路径是清晰的价值是确定的。对于自动驾驶团队来说提前布局红外数据的处理 pipeline、积累融合算法经验、甚至开始收集自己的红外数据集都是在为下一阶段的竞争储备关键能力。当成本拐点真正到来时拥有相关技术储备的团队将能快速推出更安全、更可靠的量产方案。毕竟在自动驾驶这场马拉松里安全没有捷径但技术创新永远能为我们找到更优的路径。