1. 项目概述为什么我们需要一个“全天候”的3D场景大脑如果你在自动驾驶或者机器人领域摸爬滚打过几年一定会对感知模块的“天气依赖症”深有体会。摄像头在雨雾、逆光下基本“失明”激光雷达LiDAR遇到浓雾、大雨点云会变得稀疏甚至完全失效。这意味着一个在晴天表现完美的自动驾驶系统到了恶劣天气可能就寸步难行。这成了实现真正全天候、全场景自动驾驶的最大瓶颈之一。而4D成像毫米波雷达正是近年来被寄予厚望的“破局者”。它不像传统雷达只提供距离和速度而是能输出包含距离、方位角、俯仰角和速度的“4D张量”信息分辨率大幅提升甚至能勾勒出物体的轮廓。但问题也随之而来如何把这些原始的、充满噪声的4D雷达数据高效、准确地转化成对周围3D空间的“理解”——即每个体素三维像素是被占据、空闲还是未知这就是RadarOcc要解决的核心问题。简单来说RadarOcc是一项发表在NeurIPS 2024上的工作它提出了一种全新的方法直接处理原始的4D成像雷达数据来预测稳健的3D占据栅格。它绕开了将雷达数据先转换成稀疏点云再处理的传统路径而是从源头保留更多细节并设计了一系列精巧的模块来应对数据量大、噪声多等挑战最终在恶劣天气下展现出了比激光雷达和摄像头方案更强的鲁棒性。2. 核心思路拆解从“稀疏点云”到“原始张量”的范式转变要理解RadarOcc的创新之处得先看看大家以前是怎么做的。传统雷达感知的流程可以类比成“翻译-理解”两个步骤先把雷达的原始信号“翻译”成一个个三维空间中的点点云然后再基于这些点去做目标检测、分割或占据预测。但这里有个根本问题雷达信号在转换成点云的过程中已经丢失了大量信息。那些微弱的回波、物体边缘的散射信息在点云生成算法的阈值过滤下可能就被当作噪声扔掉了。这就好比把一幅高清图片先压缩成寥寥几笔的简笔画再让你去辨认画中的细节难度可想而知。RadarOcc的思路非常直接为什么不跳过“翻译”这一步直接让模型去“理解”雷达的原始语言即4D张量呢这个4D张量你可以想象成一个数据立方体它的三个空间维度是距离、方位角和俯仰角第四个维度是多普勒速度。每一个“体素”里存储的是该位置反射信号的强度等信息。直接处理这个张量理论上能保留最完整的场景信息。但这说起来容易做起来难。4D雷达张量数据量极其庞大高分辨率下可达数GB每秒且充斥着各种噪声如旁瓣干扰、多径反射等。RadarOcc的整套方法就是围绕如何高效、智能地从这片数据的“海洋”中提取出对3D占据预测有用的“珍珠”而设计的。2.1 核心挑战与应对策略面对海量且嘈杂的4D雷达数据RadarOcc主要解决了三大挑战数据冗余与噪声4D张量中包含了大量对占据预测无用的信息比如来自旁瓣的虚假信号、地面杂波等。直接全量处理计算负担大且噪声会干扰学习。特征提取的有效性如何从四个维度的联合信息中提取出能表征物体形状、位置和运动状态的特征坐标转换的精度损失雷达数据天生是在球坐标系距离-方位角-俯仰角下的而3D占据栅格通常定义在笛卡尔坐标系XYZ中。直接进行坐标转换如通过三角函数计算XYZ会引入插值误差导致特征模糊和几何失真。针对这些挑战论文提出了一套组合拳式的解决方案我们接下来逐一拆解。3. 关键技术模块深度解析RadarOcc的模型架构是一系列精心设计的模块串联每个模块都瞄准了一个具体问题。理解这些模块就掌握了这项工作的精髓。3.1 多普勒通道描述符让速度信息“开口说话”在4D雷达数据中多普勒维度速度是区别于3D点云的关键。一个静止的护栏和一个同向行驶的汽车可能在距离-角度上看起来相似但它们的多普勒特征截然不同。传统方法在处理点云时速度信息往往是作为一个附加属性而在张量中它是一个独立的、丰富的维度。RadarOcc设计了多普勒通道描述符模块。它的作用不是简单地拼接速度通道而是对每个空间位置距离-方位角-俯仰角上的多普勒频谱进行分析。这个模块会学习生成一组描述符来刻画该位置反射体速度分布的统计特性例如主速度、速度分布的离散程度等。这相当于为每个空间体素赋予了一个“速度指纹”极大地帮助网络区分静止背景和运动物体也能更好地理解物体表面的微动特性如旋转的车轮。实操心得在实现这个模块时关键是如何平衡描述符的表达能力和计算复杂度。一种常见的实践是使用一个轻量级的卷积或MLP层沿着多普勒维度进行滑动或全局池化提取均值、方差、峰值等统计量。要注意对多普勒值进行归一化以应对不同雷达配置下的速度量程差异。3.2 旁瓣感知的空间稀疏化给数据做“智能减负”高分辨率4D雷达张量数据量巨大直接送入3D卷积网络进行稠密处理计算和内存开销都是灾难性的。但并非所有数据都同等重要。雷达信号的旁瓣会产生远离真实目标的虚假检测点这些是首要的过滤对象。RadarOcc的旁瓣感知的空间稀疏化模块就是一个智能的“数据过滤器”。它首先会估计或利用雷达的天线方向图先验知识识别出那些很可能由旁瓣效应产生的数据区域。然后它并非粗暴地删除而是学习一个稀疏化掩码显著降低这些区域的权重或直接将其置零。同时对于主瓣区域中信号强度过弱可能是噪声的体素也会进行抑制。这个过程可以看作是一种“注意力”机制的前奏让网络聚焦于信噪比高的、更可能代表真实物体的数据区域从而大幅减少后续处理的计算量。注意事项这个模块非常依赖对特定雷达硬件特性的了解。不同的4D成像雷达如TI的AWR2243 Arbe的Phoenix其天线阵列设计和信号处理链不同旁瓣特性也不同。在实际部署时可能需要针对具体的雷达型号进行模块参数的微调或重新训练。一个稳妥的做法是在训练数据中人工标注或仿真生成一批典型的旁瓣干扰样本让模型有监督地学习识别它们。3.3 基于距离的自注意力机制建立“远近关联”在3D占据预测中不同距离上的物体关联性不同。近处的车辆和远处的车辆虽然都是“车辆”但由于分辨率差异其特征分布迥异。传统的3D卷积在处理这种关系时效率不高。RadarOcc引入了基于距离的自注意力机制。它的巧妙之处在于将注意力计算限制在相同的距离门range gate内。也就是说它让网络在“同一个距离圈”上的不同方位角和俯仰角体素之间计算注意力权重。这样做有两个巨大好处物理意义明确相同距离上的点更有可能属于同一个大型物体的不同部分如车头车尾或者具有相似的环境上下文。计算效率高将全局注意力分解为多个距离门上的局部注意力避免了计算所有体素对之间关系的平方级复杂度使处理高分辨率张量成为可能。这个机制让模型能够更好地整合远距离物体的整体形状信息以及理解复杂场景中物体各部分之间的关系。3.4 球面特征编码与聚合尊重数据的“原生坐标”这是RadarOcc解决坐标转换误差问题的核心创新。如前所述直接将球坐标数据插值到笛卡尔网格会造成信息损失。RadarOcc的解决方案分为两步球面特征编码网络的前期特征提取全部在原始的球坐标系距离、方位角、俯仰角中进行。使用3D卷积等操作直接在球坐标张量上提取特征。这最大程度地保留了雷达数据的原始几何结构。球面到笛卡尔的特征聚合当需要输出笛卡尔坐标系下的3D占据栅格时RadarOcc并不做简单的“一对一”坐标转换。它设计了一个可学习的特征聚合模块。对于目标笛卡尔栅格中的每一个体素它在球坐标系中找到其对应位置附近的一组体素然后通过注意力机制或加权求和的方式将这些球面体素的特征聚合起来赋值给目标体素。这个过程可以理解为“询问”目标体素周围一圈的球面特征“根据你们的特征我这里被占据的概率有多大” 这比硬插值要柔和、准确得多显著减轻了量化误差和混叠效应。避坑指南实现这个聚合模块时如何确定“附近”的范围即搜索半径是个关键参数。半径太小可能找不到足够的有效特征半径太大会引入无关特征并增加计算量。通常需要根据雷达的距离和角度分辨率以及目标笛卡尔栅格的分辨率通过实验来确定一个最优值。此外聚合权重可以设计为与距离成反比的高斯函数或者让网络自行学习。4. 实验设置与结果分析论文在公开的K-Radar数据集上进行了全面的实验这个数据集包含了各种天气晴、雨、雾下的4D雷达、LiDAR和相机同步数据是验证全天候性能的理想平台。4.1 基准方法与评价指标作者比较了多种基线方法模态对比基于LiDAR的方法如OccNet、基于相机的方法如BEVFormer以及将它们与雷达融合的方法。雷达处理范式对比将4D雷达张量降维成3D点云即传统方法再用基于点云的方法处理与RadarOcc的直接张量处理方法对比。评价指标采用了3D语义占据预测任务的标准指标IoUIntersection over Union包括所有类别的平均IoUmIoU以及针对不同类别如车辆、行人、自行车等的IoU。更高的IoU意味着预测的占据体积与真实标注的重合度更高。4.2 核心结论与洞见实验结果清晰地验证了RadarOcc的价值雷达模态的竞争力在晴朗天气下基于高质量LiDAR的方法依然领先但RadarOcc作为纯雷达方案其性能已经接近甚至超过了某些基于相机的方案这证明了4D雷达数据本身蕴含丰富信息。恶劣天气下的绝对优势在雨、雾天气下LiDAR和相机的性能均出现显著下降而RadarOcc的性能下降幅度最小甚至在部分场景下表现更稳定。这直接印证了毫米波雷达全天候工作的优势以及RadarOcc方法有效提取了雷达在恶劣条件下的可用信息。范式转变的有效性与“张量-点云-处理”的基线方法相比RadarOcc的“直接张量处理”范式在所有天气条件下都取得了显著更高的mIoU。这强有力地说明绕过点云生成这一步直接挖掘原始张量能保留更多对感知有用的细节。模块贡献的消融研究通过逐一移除或替换关键模块如多普勒描述符、球面编码等的实验证明了每个模块都对最终性能有正向贡献尤其是球面特征编码与聚合模块对提升几何精度至关重要。5. 工程实现与复现要点如果你想在自己的数据或项目上尝试复现或借鉴RadarOcc的思想以下是一些关键的工程考量点5.1 数据预处理流水线4D雷达原始数据通常是复数形式的ADC数据需要经过一系列信号处理如2D-FFT、CFAR检测、波束成形等才能得到用于网络的4D张量强度、速度等。这一步至关重要。工具链通常依赖雷达厂商的SDK如TI的mmWave Studio或开源雷达处理库如pyroradar-tools来生成张量。张量格式化需要将处理后的数据组织成固定的维度[批次大小, 距离门数, 方位角通道数, 俯仰角通道数, 多普勒通道数, 特征数如强度、速度]。并做好归一化。标注对齐3D占据栅格的标注通常来自LiDAR点云。需要将LiDAR点云体素化并与雷达张量在时间上严格同步、空间上精确标定。5.2 模型训练技巧损失函数通常使用加权交叉熵损失或Focal Loss以处理3D占据栅格中“空闲”体素远多于“占据”体素的高度类别不平衡问题。数据增强对于雷达数据除了常规的空间旋转、平移外可以模拟不同天气下的信号衰减在张量上添加乘性噪声或随机丢弃部分体素以及模拟不同速度分布。训练策略由于模型较大、数据独特建议先在晴朗天气数据上预训练再在包含恶劣天气的数据集上进行微调这有助于稳定训练过程。5.3 部署优化考量将RadarOcc部署到车载计算平台如NVIDIA Orin是最终目标面临挑战计算瓶颈4D张量输入导致模型计算量和内存占用巨大。需要考虑使用模型剪枝、知识蒸馏、量化如INT8量化等技术来压缩模型。输入压缩旁瓣感知稀疏化模块本身可以看作一种输入压缩。可以探索更激进的、基于学习的输入压缩方法在模型前端快速丢弃大量无关数据。硬件适配模型中的自注意力、球面卷积等操作需要针对目标硬件GPU NPU进行算子优化以提升推理速度。6. 未来展望与个人思考RadarOcc为基于4D成像雷达的3D场景理解打开了一扇新的大门。它证明了直接处理原始雷达张量这条路径的可行性。从我个人的工程经验来看这项工作最启发人的地方在于它“尊重数据原生形态”的思想——不强行将雷达数据塞进为LiDAR或相机设计的模型框架里而是为其量身定制一套特征提取和坐标转换的方法。未来的探索方向可能会集中在多模态融合的早期化RadarOcc是纯雷达方案但能否将这种球面特征编码的思想与相机BEV特征、LiDAR点云特征在更早期的、更“原生”的层面进行融合例如设计一个跨模态的注意力机制让雷达的球面特征与图像的透视特征直接对话可能比在BEV空间进行后期融合更有潜力。时序建模4D雷达本身就包含速度维度但这是瞬时速度。如何利用连续多帧的雷达张量建模场景的动态变化和物体的运动轨迹对于预测任务至关重要。将3D占据预测从静态快照扩展到动态序列是一个自然的延伸。开源与生态建设目前高质量的4D雷达数据集仍然稀缺K-Radar是少数公开的。推动更多开源数据集和基准测试的出现将极大加速这个领域的发展。同时需要社区构建更完善、更易用的4D雷达数据处理工具链。这项工作也让我联想到一个更广泛的趋势感知系统正在从“目标检测”向“场景重建”演进。3D占据预测提供了一种更通用、更稠密的环境表达方式它不关心“那是什么车”而关心“那里有没有东西挡路”。这种表达对于规划和控制模块来说可能更加友好和鲁棒。RadarOcc正是在用全天候的雷达传感器为这个“场景大脑”提供最可靠的感觉输入。在通往全天候自动驾驶的路上类似这样的工作每一步都踩得很扎实。