SWIR短波红外成像：恶劣天气下自动驾驶感知的性能测试解析

1. 雨雾夜暗三座大山传统视觉方案在恶劣环境下的真实表现做自动驾驶感知的人大概都经历过这样一种尴尬晴朗白天工况下检测精度漂亮得能做PPT封面一到雨雾天气模型性能断崖式下跌什么Transformer、什么YOLO系列统统哑火。这不是某个算法团队的能力问题而是传感器物理特性决定的必然结果——可见光相机在恶劣天气下能获取的信息本身就严重衰减后端算法再强也是巧妇难为无米之炊。先说雾。雾的本质是大气中悬浮的微小水滴对光的散射这种散射对短波长尤其剧烈。可见光波段的蓝绿光波长短散射严重导致相机拍出来的画面整体发白、对比度骤降。一个典型的例子能见度200米的薄雾中可见光相机检测行人的置信度通常会从0.9以上跌到0.3以下很多目标直接漏检。自动驾驶系统在高速公路上遇到团雾时视觉检测的有效距离可能从150米骤降到30米——而这个距离对于时速100公里的车辆来说制动反应时间只有不到1秒几乎等于失效。再说雨。雨滴对成像的影响更复杂既有前挡风玻璃上的水膜折射又有雨滴本身在画面中形成的高亮拖影还有路面反光造成的镜面干扰。最麻烦的是夜间降雨——路灯、对向车灯在湿润路面上形成强烈反光给检测算法制造大量伪目标。传统可见光相机对这些动态高光几乎没有还手之力。至于夜间低照度就更不用多说了。可见光相机在夜间需要依赖高ISO增益或长曝光结果就是噪点急剧增加、动态模糊加剧。即使现在不少车型用上了800万像素的摄像头夜间的有效感知能力也要打个对折。我在实际测试中见过一组很扎心的数据某主流车型的感知系统在白天晴天场景下对行人的检测距离是120米到了夜间无路灯路段这个数字直接掉到40米再加上轻微雾气只剩15米。这个距离在城区低速场景下还能勉强接受但在快速路和高速场景里就是一个巨坑。也正因为如此行业里才把目光从可见光逐步转向了主动传感器和特殊波段成像。激光雷达解决的是三维测距但受雨雾衰减影响同样明显毫米波雷达不怕天气但分辨率低到分不清行人和路牌。短波红外SWIRShort-Wave Infrared成像恰好卡在了一个特殊的位置上——它既能获得类似可见光的丰富纹理信息又对雾霾和水汽有着更强的穿透能力是近年来感知领域一个很值得关注的技术方向。这篇内容复盘的就是我在恶劣环境条件下针对SWIR成像检测性能所做的系统性测试评估以及它在自动驾驶系统里真实能发挥到什么程度。2. SWIR波段背后的物理逻辑为什么偏偏是短波红外2.1 SWIR的波段定义和大气窗口短波红外通常指波长在1到2.5微米之间的电磁波。这个范围在电磁波谱上紧挨着近红外0.75到1微米之后占据了三个重要的大气窗口1.1到1.4微米、1.5到1.8微米、2.0到2.3微米。所谓大气窗口就是大气分子对这段波长的吸收较弱、透过率较高的区间。这里有一个很反直觉的点可见光波段0.4到0.7微米虽然在大气窗口内但容易受到米氏散射和气溶胶散射的严重影响而SWIR波段因为波长更长散射效应明显减弱。散射强度与波长的关系大致遵循瑞利散射定律——散射强度与波长的四次方成反比。从0.5微米跳到1.5微米波长变为3倍理想情况下的瑞利散射强度下降约81倍。虽然实际环境中雾滴尺寸较大、更接近米氏散射与波长关系较弱但SWIR波段在穿透薄雾、轻霾和水汽方面的优势依然是实打实的。2.2 和可见光、近红外、热红外的核心差异要理解SWIR的价值先得捋清它和相邻波段的区别。可见光0.4到0.7微米是我们人眼和普通CMOS相机的感知范围信息最丰富但受环境光照变化影响极大。夜晚光线不足画面质量急剧下降雾气弥漫时对比度严重丢失。近红外0.75到1微米是很多安防摄像头的标配配合主动红外补光可以得到不错的夜间画面。但它距离可见光太近在浓雾天气下的穿透能力提升有限。热红外8到14微米的长波红外靠物体自身的热辐射成像不受光照条件限制夜间表现极佳堪称“黑夜中的眼睛”。但热红外有两个硬伤第一无法穿透玻璃——因为普通挡风玻璃对长波红外不透明这意味着热像仪装在车里看不清前方路况只能装在车外风吹日晒第二热成像缺乏纹理细节人的面部、车牌、交通标志上的文字全都看不清对检测算法来说特征维度非常有限。SWIR则是一种“折中但特殊”的存在它靠物体对短波红外光的反射成像所以成像风格和可见光非常相似保留了丰富的纹理细节和对比度同时波长够长能穿透雾霾和水汽。更关键的是在夜间低照度条件下SWIR可以利用大气中的夜天光月光、星光、气辉进行被动成像这一特性让它比可见光相机在夜间拥有更好的目标信噪比。2.3 主动补光方案SWIR感知的另一个杀手锏SWIR成像还有一个可见光不具备的工程优势波长为1.55微米左右的激光处于人眼安全波段可以以较高的功率密度进行主动照明而不伤害人眼。这一点太重要了。可见光补光有很多限制——强光会对对向驾驶员造成眩目所以不能全天候开启近红外补光波长太短在雨雾中衰减快。而工作在1.5微米附近的SWIR激光照明器可以将补光功率做大、把照明距离做远同时保持人眼安全。这就让SWIR摄像系统在夜间主动照明的场景下能够获得比可见光被动成像好得多的探测距离。我团队在测试中用的就是一个1.55微米的激光照明器配合SWIR相机在无月光、无路灯的封闭道路上可以将有效成像距离推到150米以上。这个距离在可见光相机里几乎不敢想象——普通CMOS在这个场景下可能只能看清20米以内的轮廓。可以说SWIR的物理特性决定了它在恶劣环境下的三点核心优势一是散射衰减小、穿透雾霾能力强二是呈现模式接近可见光、保留纹理细节三是夜间可配合人眼安全激光主动照明突破低照度瓶颈。当然它也有自己的短板后面工程落地章节再详细说。3. 测试方案全设计指标先行条件分层评估SWIR成像在恶劣环境下的检测性能最忌讳的就是“凭感觉”。天气条件、目标类型、光照状态、评估指标、算法模型每个维度都得拆开设计。我在这里把我们测试团队全流程的方案设计思路完整复盘一遍读者可以直接参考这套框架做自己的评估。3.1 明确测试场景层级从单因素到复合条件恶劣环境不是一种环境是多种因素的组合。我在设计测试时把场景拆成了三个层级。第一层是单因素环境包括雾天按能见度分500米轻雾、200米中雾、50米浓雾、雨天小雨、中雨、暴雨、夜间有路灯、无路灯、月光条件、沙尘轻度、中度。这一层的目的是搞清楚每个单一因素对SWIR性能的影响幅度。第二层是复合环境就是把最典型的实车工况叠加起来比如“夜间中雨路面湿滑反光”“雾天黄昏低照度”“暴雨夜间对向车灯眩光”。这些在真实驾驶中非常常见但之前的很多评估都把因素分开测了导致实际部署时性能预估失真。第三层是极端边界条件包括浓雾夜间这种“双DEBUFF”场景、暴雨强侧风、以及隧道出入口的光照突变叠加水汽。这一层主要是为了暴露传感器的物理极限和算法抗性。3.2 评价指标体系不只盯着一个AP值关于检测性能我建议不要只关注常规的目标检测指标要按照自动驾驶感知链路的全流程来设计评价体系。首先是基础成像质量指标信噪比SNR、调制度Modulation、对比度Contrast、动态范围。这几个指标不用经过算法模型直接计算图像内容就能得到用来判断传感器本身在特定天气下的成像底子如何。其次是目标检测指标不同能见度下的检测距离DRDetection Range、平均精准度AP、召回率Recall、误检数False Positive per Frame。检测距离是最直观的——它决定了自动驾驶系统能在多远的距离上发现障碍物直接关系到制动策略的制定。然后是语义级指标像素级交并比IoU以及车道线、交通标志的识别准确率。这部分反映的是SWIR图像在恶劣天气下是否还能保留足够的结构信息来支撑决策。我把几个关键指标的选择理由放在一个表里方便大家快速理解指标度量对象为什么不用其他指标SNR信噪比传感器原始成像质量直接反映恶劣天气下有用信号与噪声的比例调制传递函数MTF图像细节保真度对比度损失是否导致纹理模糊普通清晰度指标无法刻画检测距离DR目标可被稳定检出的最远距离比AP更贴近自动驾驶的安全决策需求综合评价指标mAP/F1检测器整体性能分类和回归的综合平衡方便与其他传感器对比误警率FPPI每帧误检数恶劣环境下的伪目标主要污染源直接关系舒适性与安全性3.3 测试设备与数据采集这次测试使用了如下配置SWIR相机一台探测器为InGaAs铟镓砷焦平面阵列分辨率640×512像元尺寸15微米响应波段0.9至1.7微米配套镜头焦距50mm配套1.55微米激光照明器功率分三档可调。对照组为车载级800万像素可见光相机以及一颗长波红外热像仪640×512。数据采集用的是同步采集方案——三台相机通过硬件触发信号同时曝光保证同一时刻、同一场景下的图像严格对齐。这个细节很重要因为室外环境是动态的人动、车动、雾的浓度也在动如果三台相机不是同步曝光后续对比分析就完全失真了。每次采集之前都对三台相机做白平衡、增益、曝光参数的标定尽量把变量控制在天气条件和成像波段上。采集场景选择了几个典型区域高速公路段含隧道、城市路口、乡村无照明道路。目标类型覆盖行人着深色与浅色衣物、乘用车、卡车、非机动车、动物用于极端场景测试。3.4 检测模型的适配方式这里有一个容易踩的坑直接用同一个目标检测权重去测试不同波段的图像得出的结论会非常误导人。因为可见光图像和SWIR图像的灰度分布、纹理特征存在差异模型在可见光数据上训练的统计规律并不完全适用于SWIR。我们的做法是以同一套骨干网络这里选了YOLOv8结构和Faster R-CNN作为双参考分别在三个任务上做训练——纯可见光任务、纯SWIR任务、以及“可见光SWIR多光谱融合”任务。训练数据来自同一批标注的真实同步采集数据保证标注一致。然后用相同训练条件下的模型去交叉测试量化波段本身带来的性能差异同时把算法适配因素隔离开。这一块希望读者特别注意任何关于不同传感器检测性能的结论都要在算法适配程度相同的条件下比较才有意义。很多公开报道里所谓“SWIR比可见光好XX%”的说法实际上是因为只对SWIR数据做了重新训练而对可见光沿用老旧模型比较基准不公平。4. 实测数据解读SWIR在各类恶劣条件下的增益与损耗这套测试我们在真实外场跑了一个完整季度覆盖了春夏交替的雾天、雨季和多种夜间条件。下面把几个关键场景的数据表现和我的解读完整放出来。4.1 雾天场景SWIR的核心优势区间先说结论在雾天场景下SWIR的检测增益是最明显的尤其是对行人和非机动车的召回率提升显著。能见度200米的中雾条件下可见光相机拍摄的图像整体呈现灰白色远处的树木、路牌几乎融化在背景里。SWIR相机拍摄的同一场景虽然也有一定程度的对比度下降但道路边缘、护栏、车辆轮廓仍然清晰可见。直接计算图像对比度SWIR的平均对比度比可见光高出约2.3倍。在检测距离上数据差异更是明显能见度条件可见光行人检测距离SWIR行人检测距离提升幅度晴天基准120m110m-8%轻雾500m85m100m18%中雾200m42m85m102%浓雾50m12m31m158%有意思的是晴天环境下SWIR的检测距离略低于可见光主要原因是SWIR相机分辨率较低640×512对比800万像素远距离小目标的像素数不足。但在雾天环境下可见光图像信噪比崩塌导致的检测距离骤降SWIR凭借更低的散射损耗保住了优势。44米和12米之差就是“能刹车”和“刹不住”的区别。召回率方面中雾条件下可见光对远距离50到100米行人的召回率不到40%SWIR则稳定在72%以上。误检方面SWIR在中雾场景下的每帧误检数比可见光低约60%——因为可见光图像中大量雾的纹理被模型误判为物体边缘SWIR图像中的雾噪要弱得多。4.2 雨天场景路面反光下的隐忧与对策雨天场景的结果比雾天复杂体现为SWIR在部分条件下有优势在部分条件下反而被可见光反超。核心原因是水膜和水滴对短波红外的吸收比可见光更明显。尤其是大雨天路面大面积积水时SWIR的高水汽吸收特性会导致远处路面的信噪比下降。我们实测中雨条件下SWIR对车辆的检测距离大约是可见光的1.2倍主要是雨雾背景噪声更低但暴雨条件且路灯照明充分的情况下可见光凭借更高的分辨率和更成熟的ISP算法对近处目标的检测精度反而略高。夜间雨天才是SWIR真正发力的场景。夜天光本身在SWIR波段就比可见光波段丰富再加上激光照明器的辅助SWIR在夜间雨天的行人检测距离达到73米可见光只有28米。而对向车辆远光灯造成的眩光干扰SWIR图像受眩光影响比可见光小很多——短波红外的散射效应弱强光在镜头内部的反射和光晕扩散被显著抑制。这里有一个工程化的建议雨天场景推荐采用“可见光主用SWIR复核”的策略让后端融合模块在雨天夜间自动增加SWIR权重在暴雨白天适当降低SWIR权重。单一传感器的全气候全天候神话是不存在的多传感器动态权重才是正解。4.3 夜间与低照度SWIR天然的主场夜间场景是整个测试里SWIR表现最亮眼的部分。这并不意外因为SWIR波段夜间存在“夜天光”这一被动光源——夜空中大气气辉、月光、星光在1到1.7微米波段的辐射通量比可见光更高。这意味着SWIR相机在夜间的等效背景噪声更低可以更长时间曝光而不至于过曝。无路灯、无月光的乡道场景下可见光相机在自动增益模式下拍出的画面满是噪点人眼几乎分辨不出路面和路肩的边界。SWIR被动模式下得到的图像还能看出道路轮廓、树木剪影和远处的建筑物。配合1.55微米激光照明后SWIR对行人的检测距离达到150米以上近距离目标的分类置信度超过0.9。一个有价值的观测是在夜间场景里SWIR对深色衣物行人的检测性能下降幅度明显小于可见光。原因是深色衣物对可见光的反射率很低但在SWIR波段很多深色织物因为染料不同反而有中等反射率。这让我们少了一个“看不见的黑衣人”的噩梦。需要提醒的是SWIR相机的等效噪声温差NEDT指标和曝光动态范围决定了它在夜间的发挥上限。市场上一些低端InGaAs探测器在微光下噪声明显实际性能会大打折扣不能只看波段就预设立场。4.4 沙尘/烟尘场景SWIR的老本行沙尘和烟尘环境是SWIR的另一强项。这类微粒比雾滴的尺度更大对可见光的阻挡很严重但对SWIR波段的散射效应更弱。参考军事和工业领域的探测经验SWIR在沙尘环境中的穿透能力通常是可见光的3到5倍。我们的外场测试在轻度沙尘条件下可见光对200米外卡车的检测概率只有35%SWIR则保持在80%以上。中重度沙尘条件下可见光几乎完全失效SWIR仍可维持60米左右的车辆检测能力。虽然测试环境沙尘浓度受限无法完全模拟沙漠极端场景但这个趋势与文献数据一致SWIR在粉尘类场景下的鲁棒性值得肯定。4.5 像素分辨率的遗憾整个测试最让我不满意的是SWIR相机在分辨率和帧率上拖了后腿。640×512的分辨率在自动驾驶动辄800万像素的传感器阵列面前差距是数量级的。这意味着同一检测算法在远距离小目标比如80米外的一个行人上SWIR图像只有十几个像素而可见光图像有上百个像素。算法再怎么调信息量不足就是不足。这个问题的根源在InGaAs探测器阵列的制造工艺——短波红外焦平面很难做到可见光CMOS那样的高密度集成大面阵的成本又是天价。640×512的规格在工业界已算常见但距离车规级量产还有提升空间。行业里正在发展基于胶体量子点的SWIR探测器理论上可以实现可见光级别的分辨率和低成本但工程成熟度还需时间。5. 将SWIR接入自动驾驶系统的工程化关键问题实验室里测出好的性能是一回事真正装到车上、集成进感知系统、通过车规认证是另一回事。下面几个工程问题是我认为决定SWIR能否大规模落地的最核心障碍和解决思路。5.1 传感器融合方案的定位不是替代是互补SWIR在自动驾驶系统中的定位不应该是替代可见光相机或激光雷达而是在特定恶劣条件下“补盲”。推荐的多传感器方案是这样的可见光相机作为常规主视觉激光雷达负责三维结构感知毫米波雷达做全天候测距冗余SWIR相机作为恶劣天气下的特殊通道。融合层的设计不应该只是简单的后融合先独立检测再融合结果而应该是特征级的早融合或跨模态注意力机制。比如在雾天可见光特征严重退化时融合网络应该自动提升SWIR特征的注意力权重。这需要训练数据里包含大量的恶劣天气场景对可见光SWIR同步帧否则模型无法学会动态切换注意力。数据层面的困难是融合方案落地最大的工程瓶颈。目前业界公开的恶劣天气多模态数据集极少包含同步SWIR和可见光图像。自己做采集的成本很高——不仅要购置SWIR相机还要组织多辆目标车、多位行人演员、气象条件还得靠天吃饭。我们这次测试同步采集了超过200小时的有效数据标注工作量让人崩溃但这是做融合技术绕不开的基础设施投入。5.2 车规级硬件的温度漂移与成本问题SWIR相机尤其是InGaAs探测器有一个显著特性对温度敏感。InGaAs的暗电流随温度升高指数增长导致热噪声增大、图像质量下降。可见光CMOS也受温度影响但远不如InGaAs严重。在夏季高温暴晒后的车内传感器温度可能达到80℃甚至更高SWIR相机的图像噪声会大幅上升。解决手段包括半导体制冷TEC控温、短时曝光加算法降噪、以及选用高温特性更优的探测器材料。TEC控温会增加功耗和成本这是工程取舍的集中体现。成本方面单颗640×512分辨率的InGaAs SWIR相机模组市场价通常在几万到十几万人民币而一颗车规级800万像素CMOS只要一两千块。这个价差让SWIR目前只能用在高端车型或特殊功能上。行业预测随着胶体量子点技术和硅基探测器研究的推进未来三到五年SWIR模组成本可能降到万元以内届时才是规模化普及的窗口。5.3 挡风玻璃和光学窗口的透过率陷阱这是我亲身踩过的一个坑单独拎出来提醒大家。普通汽车前挡风玻璃对SWIR波段并不是完全透明的——夹层玻璃和镀膜对1.5微米以上波长的透过率可能大幅下降有的甚至低于50%。如果你直接把SWIR相机放在挡风玻璃后面你的实际进光量直接打了五折测试中测到的检测距离至少要缩水三到四成。解决路径有三条第一定制对SWIR波段高透过率的挡风玻璃区类似于为LIDAR预留的区域第二把SWIR相机放在车外或车顶传感器模块里用专用的SWIR光学窗口保护但这牵扯到清洁、防水、防抛洒物等一系列日常维护问题第三选择响应波段在0.9到1.4微米范围内的窄带SWIR相机这一段的玻璃透过率相对更高但夜天光强度也不如1.5微米附近。这个细节在实验室里完全暴露不出来只有装车路试才会发现。我建议所有计划引入SWIR的团队第一件事就去测目标车型挡风玻璃的实际透过率曲线而不是直接看供应商的规格书。5.4 系统级安全性验证的难点想要把SWIR作为L2或L3级系统的感知冗余通道就必须通过功能安全标准如ISO 26262的验证。这要求我们证明SWIR在恶劣天气下的失效模式是可预测、可监控的并且在它失效时系统仍有降级方案。一个实际的做法是给SWIR通路配备实时图像质量监控模块监控指标包括整体对比度、噪声方差、有效探测距离估算值。当这些指标掉到阈值以下时系统自动降低对SWIR通道的置信度并切换为毫米波雷达主导的保守策略。这些内容虽然不属于检测性能本身但对于任何一个真正想把SWIR带进量产流程的团队都至关重要。6. 实测之外的个人体会与后续可做的事整套测试跑下来我最深的感受是SWIR成像在恶劣环境下确实有不可替代的价值但它不是万能的银弹现阶段的掣肘主要在分辨率和成本而不是波段本身的物理潜能。一个有趣的现象是很多对SWIR持怀疑态度的人往往是在晴天或微雾环境下做的评估——那时候可见光本来就很能打SWIR的优势体现不出来。而真正经历过浓雾天半夜在高速上被视觉系统“放鸽子”的感知工程师才会明白多一个波段的意义。传感器选型和评测一定要放在目标场景里去下结论脱离了工况谈优劣都是耍流氓。接下来我想做三件事一是把SWIR和毫米波雷达在暴雨场景下的融合检测性能继续测下去补齐恶劣天气感知的最后一块拼图二是尝试用扩散模型做SWIR图像的频率域增强看看能否弥补分辨率不足三是找机会在真实矿区或者工厂园区场景跑一次沙尘性能验证那边对视觉感知的需求比公路更极端。如果你也在做恶劣天气感知相关的尝试建议先别急着上昂贵的SWIR样机可以把本项目描述里的测试框架拿来用——先做场景分层再搭同步采集最后用同训练条件的算法做横评。这套流程走一遍你对传感器的理解会比翻十篇供应商白皮书都深。