1. 从稀疏点云到稠密感知为什么我们需要重新思考雷达的用法如果你在自动驾驶或者机器人感知领域摸爬滚打过几年大概率会对雷达数据又爱又恨。爱的是它在雨、雪、雾、夜里的那份“倔强”的可靠性恨的是它那稀疏得像撒胡椒面一样的点云以及时不时冒出来的噪声和鬼影。传统的做法无论是毫米波雷达还是早期的4D成像雷达大家习惯性地把雷达信号处理成一堆x, y, z, Doppler的点然后试图把这些稀疏的点云塞进为激光雷达LiDAR设计的稠密感知框架里。这感觉就像试图用一把漏勺去舀一锅汤——大部分细节都漏掉了最后只能得到几根“干货”。这就是RadarOcc这篇NeurIPS 2024的工作让我眼前一亮的原因。它没有走这条“点云拟合”的老路而是提出了一个根本性的问题我们为什么要放弃雷达信号本身蕴含的丰富信息而只取用其中被高度抽象和压缩后的“点”呢这个团队选择直接对原始的4D雷达张量Tensor开刀。所谓4D指的是距离Range、方位角Azimuth、俯仰角Elevation和多普勒Doppler这四个维度。这相当于把雷达接收到的原始“数据立方体”整个端了上来而不是只挑里面几个“肉丁”给你看。这个思路的转变直接瞄准了自动驾驶全天候All-weather部署的核心痛点。摄像头在极端天气下基本“失明”激光雷达在浓雾或大雨中性能也会急剧下降但毫米波雷达的电磁波穿透能力要强得多。然而如果雷达只能提供稀疏的、有噪声的障碍物位置无法像激光雷达那样输出一个稠密的、描述“哪里是障碍物、哪里是自由空间”的3D占据栅格3D Occupancy Grid那么它的价值就大打折扣难以作为主感知源。RadarOcc的目标正是要解锁4D成像雷达的这种稠密场景理解能力让雷达不仅能“看见”几个点还能“理解”整个空间的占据情况。这对于提升系统在恶劣天气下的鲁棒性甚至在未来降低对昂贵激光雷达的依赖都有着不小的意义。2. 直面“数据怪兽”RadarOcc如何处理4D雷达张量的三大挑战直接处理4D雷达原始数据听起来很美好但实操起来困难重重。这就像一个巨大的、充满噪声的“数据怪兽”。RadarOcc这篇论文的核心贡献就在于它设计了一套精巧的“组合拳”来驯服这个怪兽。我们可以把它拆解成三个关键的技术挑战及其对应的解决方案。2.1 挑战一数据体量巨大与信息冗余一个高分辨率的4D成像雷达其原始数据张量可能是[Range_bins, Azimuth_bins, Elevation_bins, Doppler_bins]的规模例如[256, 128, 64, 64]这轻松就能达到百万甚至千万级别的体素Voxel数量。直接把这个庞然大物扔进神经网络计算量和内存消耗都是灾难性的。更棘手的是这里面充斥着大量的冗余信息和噪声比如由天线方向图旁瓣Sidelobe引起的虚假信号。RadarOcc的解法多普勒描述子与旁瓣感知的空间稀疏化首先他们不是粗暴地压缩所有维度。对于多普勒维度通常表示目标径向速度他们没有直接丢弃或池化而是设计了一种多普勒区间描述子Doppler bins descriptors。我的理解是这类似于为每个距离方位俯仰位置上的多普勒谱计算一组统计特征如均值、方差、峰值强度等或者用一个轻量级网络提取一个紧凑的特征向量。这样就把一个多普勒维度比如64个bins压缩成了一个固定长度的描述子既保留了速度分布信息又大幅减少了数据量。其次针对空间维度方位和俯仰上的冗余和噪声他们提出了旁瓣感知的空间稀疏化Sidelobe-aware spatial sparsification。雷达天线的旁瓣会接收到非主波束方向的杂散回波这些通常是需要抑制的噪声。传统的信号处理会在硬件端或前端进行滤波。RadarOcc则将这个知识引入到深度学习模型中。它可能通过学习一个注意力权重矩阵或者直接利用雷达校准已知的旁瓣区域先验来对空间维度的体素进行加权筛选显著地抑制旁瓣区域的体素响应只保留主瓣方向的高置信度数据。这一步相当于给数据做了一次“智能降采样”只把有价值的体素送入后续网络。2.2 挑战二噪声与杂波干扰雷达数据尤其是低信噪比目标如行人、锥桶或复杂环境如道路护栏、树木下的数据噪声和杂波非常严重。直接处理原始张量如何让模型学会“去伪存真”RadarOcc的解法距离维自注意力机制论文中提到了Range-wise Self-Attention。这是一个非常贴合雷达物理特性的设计。在雷达的原始数据中同一个距离门Range bin内的所有回波对应着物理世界中距离雷达相同距离的一个“球壳”。这个球壳上的不同方位和俯仰角可能存在多个物体。自注意力机制擅长捕捉长距离依赖关系。在这里它被应用在距离维度上意味着模型可以学习比较和关联不同距离门之间的特征。举个例子一个真实的车辆目标会在连续几个距离门上产生较强的、相关的回波。而随机噪声或孤立杂波则可能只出现在单个距离门上且与前后距离门的特征不相关。通过距离维的自注意力模型能够增强那些在多个距离门上具有连续性和一致性的信号很可能是真实目标同时抑制孤立的、不连贯的噪声点。这相当于在特征层面进行了一次自适应滤波。2.3 挑战三从球坐标系到笛卡尔坐标系的特征对齐雷达的原始数据天然存在于球坐标系Spherical Coordinate System中距离、方位角、俯仰角。而我们最终需要的3D占据栅格通常是在笛卡尔坐标系Cartesian即x, y, z下定义的。一个直观但粗糙的做法是先将每个雷达体素根据其r, θ, φ坐标转换到x, y, z然后将特征“放置”到最近的3D栅格中即体素化Voxelization。这种做法会引入插值误差Interpolation Errors尤其是在远距离和坐标轴边缘由于球坐标到笛卡尔坐标的非线性映射会导致特征分布不均和几何失真。RadarOcc的解法球面特征编码与特征聚合为了最小化这种误差RadarOcc设计了一个两阶段策略球面特征编码Spherical-based Feature Encoding首先在原始的球坐标系下进行特征提取。网络的第一部分直接在距离方位俯仰这个网格上进行卷积或注意力操作。这最大程度地保留了雷达数据的原始几何结构。球面到笛卡尔的特征聚合Spherical-to-Cartesian Feature Aggregation然后在需要输出笛卡尔坐标系下的占据栅格时他们不进行简单的“一个萝卜一个坑”的坐标转换。而是设计了一种可学习的特征聚合机制。对于笛卡尔栅格中的每一个目标体素比如一个0.2m x 0.2m x 0.2m的小立方体它在球坐标系中可能对应着一片区域因为一个立方体投影到球坐标上不是规则形状。模型会去“查看”这片区域中所有球面体素的特征并通过一个可学习的网络如一个小型MLP或注意力层将这些特征聚合起来赋给这个笛卡尔体素。这样做的好处是将坐标转换的几何误差转化成了一个可以通过数据学习的特征融合问题。模型能够学会如何从一片不规则的球面区域中综合出对应笛卡尔空间位置的最优特征表示从而得到更精确的占据预测。3. 从架构到实操拆解RadarOcc的核心网络流程理解了上述三大挑战的解决方案我们就能串起RadarOcc的整体流程。虽然论文没有给出完整的开源代码但基于其描述我们可以勾勒出一个合理的实现框架这对于想复现或借鉴其思想的研究者和工程师至关重要。输入层4D雷达张量预处理输入是形状为[B, C, R, A, E, D]的张量其中B是批大小C可能是复数通道实部/虚部或功率谱密度R/A/E/D分别是距离、方位、俯仰、多普勒的区间数。第一步通常是对多普勒维进行FFT如果输入的是原始ADC数据或直接使用已处理的功率谱。然后应用多普勒描述子模块将维度D压缩为一个固定长度的特征向量张量变为[B, C_new, R, A, E]。主干网络球坐标系下的特征提取接下来这个[B, C, R, A, E]的张量进入一个3D卷积神经网络例如3D ResNet或类似变体但所有操作都是在(R, A, E)这个球坐标网格上进行的。在这个阶段可以嵌入旁瓣感知的空间稀疏化。一种实现方式是在第一个卷积层后接一个预测每个空间位置重要性的轻量级头然后根据重要性得分对体素进行剪枝或加权保留前K个最重要的体素进行后续计算这能极大提升效率。同时距离维自注意力模块可以作为一个独立的层插入到主干网络中。具体操作是将张量在方位和俯仰维度上展平得到形状为[B, C, R, (A*E)]的特征然后在R维度上应用自注意力。这允许模型在距离维度上整合全局信息增强真实目标的连续性特征。坐标转换与解码可学习的特征聚合经过主干网络提取的深层特征仍然位于球面坐标系(R, A, E)的网格上。现在需要生成笛卡尔坐标系(X, Y, Z)下的3D占据概率栅格。定义目标栅格首先确定感知范围如前后左右各50米高度-5到3米和分辨率如0.2米得到一个[X, Y, Z]的3D网格。坐标映射对于目标网格中的每一个笛卡尔体素(x, y, z)计算其对应的球坐标(r, θ, φ)。特征查询与聚合关键步骤来了。(r, θ, φ)这个坐标在球面特征网格(R, A, E)中不是一个整数索引它位于几个邻近的球面体素之间。RadarOcc不是用最近邻或三线性插值而是采用一个可学习的聚合器。首先在球面特征网格中找到(r, θ, φ)周围的K个最近邻体素例如使用球面距离。然后将这些K个体素的特征{f1, f2, ..., fk}以及它们与目标坐标的相对偏移量{Δr, Δθ, Δφ}一起输入一个小型神经网络如几层MLP。这个MLP会输出一个聚合后的特征作为该笛卡尔体素(x, y, z)的特征。这个过程对所有的(X, Y, Z)体素并行执行可以通过向量化实现最终得到一个[B, C, X, Y, Z]的笛卡尔特征体。输出头与损失函数最后这个笛卡尔特征体通过一个简单的3D卷积或全连接层为每个体素预测一个二值分类占据/空闲的概率。损失函数通常使用标准的交叉熵损失或者针对3D占据预测任务设计的加权交叉熵损失因为空闲体素远多于占据体素。注意这里的“可学习聚合”是RadarOcc论文的精髓之一也是与之前方法最大的不同。它替代了固定的插值算法让模型自己学会如何从稀疏、不规则的球面采样中重建出稠密的笛卡尔表示。在实际复现时这部分的设计如K近邻的选择、MLP的结构是需要仔细调优的。4. 实验深潜数据、对比与鲁棒性验证任何好的想法都需要扎实的实验来证明。RadarOcc在公开的K-Radar数据集上进行了全面的评测。K-Radar是一个包含4D成像雷达、激光雷达、摄像头和GPS/IMU的多模态数据集采集于多种天气条件晴朗、雨、雪非常适合验证全天候感知算法。基准测试设置作者设定了严格的对比实验跨模态对比这是最核心的对比。他们将RadarOcc与基于LiDAR的方法如OccNet, SurroundOcc和基于相机的方法如BEVFormer, PETR在3D占据预测任务上进行比较。注意为了公平所有方法都只在雷达数据上进行训练和测试或者使用雷达作为唯一输入。这纯粹是比拼不同模态数据下的算法性能上限。雷达方法内部对比他们还将RadarOcc与传统的“雷达点云LiDAR式网络”的基线方法对比。这些基线方法先将4D雷达张量处理成点云然后用PointNet或VoxelNet等点云处理网络进行占据预测。这直接验证了“直接处理张量”相对于“先转点云”的优势。消融实验逐一验证前文提到的几个核心模块多普勒描述子、旁瓣感知稀疏化、距离维注意力、球面到笛卡尔聚合的有效性。结果分析雷达的潜力与局限根据论文所述的结果我们可以得出几个关键结论超越雷达点云基线RadarOcc大幅超越了所有将雷达数据预处理成点云的基线方法。这强有力地证明了绕过点云这个“信息瓶颈”直接挖掘原始张量能显著提升雷达的感知性能。点云丢弃了太多信息尤其是微弱的、分布式的目标特征。逼近甚至部分超越LiDAR/Camera方法在K-Radar数据集上RadarOcc在基于雷达的方法中达到了SOTA并且其性能与一些早期的、基于LiDAR或相机的占据预测方法相比显示出有竞争力的结果。这是一个非常鼓舞人心的信号说明4D成像雷达有潜力在特定任务上弥补与LiDAR的“性能鸿沟”。恶劣天气下的绝对优势这是雷达的“主场”。论文展示的定性结果Supplemental Video中应该更明显显示在雨雪天气下相机和LiDAR的感知质量严重下降点云变得极其稀疏或噪声巨大。而RadarOcc基于4D雷达张量生成的3D占据栅格仍然能保持相对完整的场景结构对车辆、路缘等关键障碍物的识别更为稳定。这直接印证了其提升全天候鲁棒性的设计初衷。对消融实验的解读消融实验通常以表格形式呈现每个模块的移除都会导致性能如mIoU, mAcc下降。我们可以推测球面到笛卡尔聚合的贡献可能最大因为它直接解决了几何失真这个根本问题。距离维自注意力对提升远距离小目标如行人的检测率应有明显帮助因为它增强了连续性特征。多普勒描述子和旁瓣感知稀疏化则主要在提升计算效率和抑制特定噪声方面发挥作用它们的移除可能导致推理速度变慢或误报率增加。5. 工程落地思考优势、挑战与未来方向RadarOcc为我们展示了一条通往高性能、全天候自动驾驶感知的新路径。但从一个研究原型到车规级量产应用还有很长的路要走。结合我过去在传感器融合项目中的经验谈谈它的工程化前景。核心优势信息利用最大化这是其根本优势。不损失原始数据信息为模型提供了最丰富的原材料。端到端可学习整个流程从原始信号到3D占据图是完全可微分的。这意味着系统可以端到端优化让特征提取、去噪、坐标转换等所有环节共同朝着最终任务目标精确占据预测努力避免了传统流水线中多个独立模块带来的误差累积。恶劣天气鲁棒性这是4D成像雷达的物理特性带来的红利RadarOcc通过先进的算法将其兑现。面临的挑战与实操考量计算负载尽管有稀疏化策略直接处理4D张量依然比处理稀疏点云计算量大得多。4D雷达的数据率很高通常每秒数百MB实时处理如10Hz对车载计算平台是巨大挑战。需要进一步的网络轻量化、量化、以及硬件加速如专用AI芯片对4D卷积和稀疏张量运算的支持。数据标注与仿真训练这样的模型需要大量带有3D占据真值Voxel-level Occupancy GT的4D雷达数据。标注成本极高。如何利用激光雷达数据自动生成或辅助生成雷达数据的伪标签或者发展有效的雷达仿真器是推动该技术落地的关键。传感器标定与时序同步虽然RadarOcc是单雷达算法但在实际系统中仍需与相机、LiDAR、定位系统等进行融合。高精度的时空标定至关重要任何偏差都会影响多模态融合的效果。泛化能力不同型号、不同安装位置的4D雷达其天线模式、信号处理链、噪声特性都可能不同。在一个数据集上训练的模型能否直接迁移到另一个雷达上这需要研究领域自适应或更通用的雷达特征表示方法。未来可能的方向多模态融合的早期交互RadarOcc目前是纯雷达方案。一个自然的延伸是探索如何让雷达张量特征与图像特征、LiDAR点云特征在更早的、更原始的阶段进行融合例如在球面坐标系或BEV空间而不是在各自生成占据图后才做决策级融合。这有望发挥多传感器的互补优势达到“112”的效果。动态占据预测目前的3D占据预测多是静态的。4D雷达独有的多普勒维度直接提供了径向速度信息。如何利用这个信息不仅预测当前时刻的占据还能预测未来时刻的动态场景移动物体的轨迹是一个极具价值的方向。面向低功耗嵌入式平台的优化研究更极致的模型压缩、知识蒸馏、以及算法-硬件协同设计让如此复杂的模型能跑在资源受限的车载域控制器上。从我个人的工程经验来看RadarOcc这类工作代表了感知算法发展的一个趋势从依赖精心设计的中间表示如点云、2D框转向更端到端地、更“原生”地处理传感器信号。这条路虽然计算挑战大但天花板更高。随着4D成像雷达成本的下降和车载算力的提升直接处理雷达张量的方法很可能从研究热点逐步走向产业前沿。对于从业者而言现在正是深入理解其原理并开始思考如何将其与现有系统结合的好时机。至少下次当你面对稀疏的雷达点云一筹莫展时可以想想是不是我们一开始就丢掉了太多“宝藏”。