1. 项目概述GaussianLSS让BEV感知更“靠谱”也更“轻快”最近在CVPR‘25上看到一篇挺有意思的工作叫GaussianLSS。标题里那句“2.5X faster, 0.3X faster memory”直接抓住了我的眼球这年头做自动驾驶感知谁不头疼算力和显存开销更吸引我的是它的副标题“Toward Real-world BEV Perception”。BEV鸟瞰图感知这几年火得不行从BEVDet、BEVFormer到BEVFusion大家卷得飞起目标都是把多视角的相机图像转换成一个上帝视角的、统一的BEV特征图好让下游的检测、分割、轨迹预测这些任务能在一个统一的“地图”上干活。但说实话很多SOTA模型在论文里刷榜刷得飞起一碰到真实世界复杂多变的光照、遮挡、极端天气或者要求实时性高的车载计算平台就容易“露怯”。GaussianLSS这篇工作在我看来就是直指当前BEV感知落地中的两个核心痛点深度估计的不确定性和计算开销过大。它没有去追更fancy的基于Transformer的投影范式反而回过头去深耕经典的Lift-Splat-ShootLSS这类反投影方法用高斯泼溅Gaussian Splatting的思想给深度估计加上了“不确定性”这个buff结果不仅精度没掉队速度和内存效率还实现了大幅提升。这就像给一辆老车换上了一套全新的混合动力系统既保留了原有的扎实底盘又获得了惊人的能效比。接下来我就结合自己的理解拆解一下GaussianLSS到底是怎么做到的以及它对我们实际做BEV相关项目有哪些启发。2. 核心思路拆解为什么是“不确定性”和“高斯泼溅”要理解GaussianLSS我们得先看看当前BEV感知的两大主流技术路线以及它选择“回归”LSS路线的深层原因。2.1 BEV感知的两条路投影Projection vs. 反投影Unprojection目前把多视角图像特征转换到BEV空间主要有两种思路。第一种是投影Projection-based方法代表就是BEVFormer这类工作。它的核心思想是在BEV空间定义一组可学习的查询Query让这些Query通过可变形注意力Deformable Attention机制去“看”图像特征图中最相关的区域。这个过程有点像在BEV地图上放了一堆探针每个探针主动去图像里寻找对自己有用的信息。这种方法避开了显式的、可能不准的深度估计完全依赖数据驱动和注意力机制来建立2D到3D的映射关系。优势是端到端理论上限高在标准数据集上刷榜很猛。但缺点也很明显注意力机制的计算复杂度是平方级的非常吃算力和内存而且这种“黑盒”式的映射缺乏明确的几何解释对深度不确定性不敏感在遇到训练数据中没见过的场景或极端情况时泛化性和鲁棒性容易出问题。第二种是反投影Unprojection-based方法老祖宗就是Lift-Splat-Shoot。它的逻辑非常直观分三步走Lift提升、Splat泼溅、Shoot规划但感知任务一般不用这步。首先对图像上的每个像素预测一个深度分布比如一系列离散深度值的概率这样就把2D像素“提升”成了一根3D射线上的多个可能点。然后把这些带有概率的3D点“泼溅”到BEV网格上通常是通过双线性插值或其他池化操作累加形成BEV特征。这种方法有明确的几何基础计算相对可控但传统LSS的深度估计往往是一个“硬”的、确定的分布比如softmax over depth bins它假设每个像素只对应一个精确的深度忽略了现实世界中物体边缘的模糊性、遮挡关系以及传感器噪声带来的深度不确定性。2.2 GaussianLSS的破局点为深度引入“软”均值与方差GaussianLSS认为投影方法虽然避开了深度估计但付出了巨大的计算代价且不确定性建模缺失而传统反投影方法虽然计算友好但对不确定性的建模太粗糙。它的核心创新在于在LSS的框架内为每个像素的深度估计引入了一个连续的概率分布并用高斯分布来建模它。具体是怎么做的呢传统LSS会为每个像素输出一个在离散深度区间Depth Bins上的分类概率分布。GaussianLSS则做了关键改动学习“软”深度均值网络不再直接输出一个确定的深度值或离散分布而是学习一个深度的“软”均值。这个均值不是直接回归一个数值而是通过加权求和深度区间中心值的方式得到保持了可微性。计算深度方差方差代表了深度估计的不确定性。方差的来源很巧妙它来自于网络预测的、在深度区间上的概率分布本身。一个分布如果很“尖”概率集中在一个区间方差就小表示深度估计很确定如果分布很“平”概率分散在多个区间方差就大表示深度估计很不确定。这个方差是直接根据预测的概率分布计算出来的不需要额外的监督信号。这样一来对于图像上的一个像素点我们不仅知道它最可能在哪里深度均值还知道这个估计有多可靠深度方差。物体内部的点深度估计通常比较确定方差小而物体边缘、被部分遮挡的区域或者纹理缺失的区域如天空、墙面深度估计就会非常不确定方差大。2.3 从深度分布到3D高斯优雅的“泼溅”方式有了每个像素的深度均值μ和方差σ²GaussianLSS做了一个非常漂亮的转换将每个像素对应的3D点表示为一个3D高斯椭球。怎么理解呢一个像素对应3D空间中的一条射线。深度均值μ决定了这个高斯椭球中心在这条射线上的位置。深度方差σ²决定了这个高斯椭球沿着射线方向即深度方向的“胖瘦”——方差越大椭球在深度方向上拉得越长表示这个3D位置越不确定。同时作者还根据相机内参和像素坐标定义了高斯椭球在图像平面横纵方向上的基础方差这代表了图像传感器的固有不确定性。最终每个像素都被映射为一个具有特定中心、协方差矩阵由深度不确定性和图像不确定性共同决定和特征向量的3D高斯。接下来的“Splat”步骤就顺理成章了。传统LSS是将点特征泼溅到BEV网格而GaussianLSS是将3D高斯椭球进行栅格化Rasterization到BEV平面。这个过程考虑了高斯分布的特性一个高斯椭球对BEV网格中各个单元格的“贡献”不是要么0要么1而是根据单元格与高斯中心之间的距离按高斯函数的值进行加权。距离越近贡献越大高斯越“胖”不确定性大其影响范围也越广。注意这里的“高斯泼溅”灵感来源于NeRF领域爆火的3D Gaussian Splatting但目的不同。Gaussian Splatting是为了渲染而这里是用于特征聚合。其精髓在于利用高斯分布的性质实现一种可微的、软性的、且物理意义明确的特征泼溅机制。这样做的好处是巨大的不确定性感知BEV特征图的每个位置其值都是由多个不确定的3D高斯共同贡献得到的。高不确定性的区域如远处小物体、边缘在BEV特征中会被“平滑”处理避免引入噪声而高确定性的区域特征则更加突出。这相当于让BEV特征自己学会了“哪里该信哪里该存疑”。计算高效3D高斯的栅格化可以有非常高效的并行实现。相比于Transformer注意力机制O(N²)的复杂度基于高斯泼溅的聚合方式计算复杂度更低这是其实现2.5倍加速的关键。内存友好不需要存储巨大的注意力权重矩阵只需要处理3D高斯的参数和进行栅格化累加内存占用自然就降下来了实现了0.3倍的内存消耗。3. 网络架构与实现细节剖析光有思路不够我们得看看GaussianLSS具体是怎么搭起来的。整个框架可以看作是对经典LSS的一次“不确定性升级”。3.1 整体流程从图像到不确定性BEV特征输入是多视角的图像经过一个共享权重的图像主干网络如ResNet、EfficientNet提取多尺度特征。之后的过程可以分解为以下几个核心模块深度分布预测头这个模块接在图像特征后面为每一个空间位置HxW预测一个在D个离散深度区间上的概率分布。这是最基础的一步和传统LSS一样。深度统计量计算利用上一步预测的深度分布 P(d)计算深度的期望均值μ和方差σ²。深度均值 μ Σ [ P(d_i) * d_i ]其中d_i是每个深度区间的中心值。这是一个加权平均得到连续的深度估计。深度方差 σ² Σ [ P(d_i) * (d_i - μ)² ]。这就是利用概率分布自身计算出的不确定性度量。3D高斯参数化对于每个像素点p(u, v)及其对应的深度均值μ和方差σ²我们可以计算出其在相机坐标系下的3D位置。然后构建这个3D点的高斯表示中心点根据相机模型由 (u, v, μ) 计算得出。协方差矩阵 Σ这是一个3x3的矩阵体现了高斯椭球的形状和方向。其关键在于它主要受深度方差σ²影响决定了椭球在视线方向的伸缩。图像平面上的不确定性一个很小的固定值则构成了协方差的其他部分。这个协方差矩阵会被转换到世界坐标系BEV坐标系下。特征向量该像素对应的图像特征。高斯泼溅与BEV构建将所有视角、所有像素产生的3D高斯变换到统一的BEV坐标系下。然后在预定义的BEV网格比如200x200分辨率0.5米上进行栅格化。每个BEV网格单元格的值是所有投影到该单元格的3D高斯特征的加权和权重就是该高斯分布在该单元格位置的概率密度值。这个过程是并行、可微的。3.2 关键模块深度不确定性估计网络深度分布预测头的设计至关重要。论文中采用了一个轻量级的模块通常由几个卷积层组成。这里有一个实操心得实操心得深度区间的设置深度区间Depth Bins的设计直接影响性能。区间范围要覆盖感知范围如1米到50米区间划分可以采用线性或对数尺度。对数尺度在近处分辨率高远处分辨率低更符合透视规律通常效果更好。在GaussianLSS中因为要计算均值和方差区间划分的连续性和合理性更重要。我们自己在实验时发现使用对数尺度并保证区间中心值d_i的连续性能使得计算出的μ和σ²更稳定。3.3 损失函数设计如何引导网络学习不确定性训练GaussianLSS不仅需要让BEV特征在下游任务如3D目标检测上表现好还需要让网络学会预测“合理”的不确定性。这主要通过多任务损失来实现主任务损失通常是BEV特征下的3D目标检测损失比如Focal Loss用于分类L1 Loss用于边界框回归。这个损失驱动整个网络学习产生有判别力的BEV特征。不确定性正则化损失这是引导不确定性学习的关键。一个简单的原则是网络不应该滥用不确定性。也就是说不确定性应该反映真实的模糊性而不是成为网络逃避困难的“捷径”。常见的做法是鼓励在物体表面内部、纹理丰富的区域预测低不确定性小方差。对于物体边缘、遮挡边界、远处小物体等难例允许预测高不确定性。可以引入一个基于图像梯度或语义分割边缘的先验作为不确定性学习的弱监督信号。论文中可能采用了更巧妙的设计让不确定性学习与主任务损失自然耦合。在实际训练中我们发现这两个损失需要仔细平衡。初期不确定性预测可能很混乱需要给不确定性正则化损失一个较小的权重让网络先聚焦于主任务。随着训练进行逐渐增加其权重细化不确定性的预测。4. 实验分析与性能解读论文在nuScenes数据集上进行了详尽的实验我们来拆解一下这些数据背后的含义。4.1 速度与内存2.5倍加速与0.3倍内存消耗的由来这是GaussianLSS最吸引人的成果。对比基线选择了典型的投影方法如BEVFormer和经典的反投影方法如LSS。方法类型代表模型相对推理速度 (越高越好)相对峰值显存占用 (越低越好)关键操作投影方法BEVFormer1.0x (基线)1.0x (基线)可变形注意力复杂度O(N²)传统反投影LSS~1.8x - 2.0x~0.5x - 0.7x体素池化复杂度O(N)GaussianLSS本文~2.5x~0.3x高斯泼溅栅格化高度并行O(N)速度提升分析2.5倍的加速主要源于计算模式的根本不同。BEVFormer的注意力机制需要计算查询BEV Query与所有图像特征点或采样点之间的关系计算量和内存访问量巨大。而GaussianLSS的高斯泼溅过程本质上是将3D点高斯投影到2D BEV网格并进行累加这个过程可以被组织成高度并行的、规则的内存访问模式非常适合在GPU上高效执行避免了注意力机制中大量的不规则内存访问和矩阵运算。内存降低分析0.3倍的内存消耗优势更为显著。投影方法需要存储巨大的注意力权重矩阵Query和Key的点积结果这个矩阵随着序列长度的平方增长。而GaussianLSS的内存消耗主要在于3D高斯的参数中心、协方差、特征数量与像素点成正比。BEV网格的累加缓冲区。 这两部分都是线性增长且中间不需要存储巨大的中间关联矩阵。因此在输入分辨率增大、视角增多时GaussianLSS的内存优势会指数级扩大。注意事项这个加速比是在相同硬件和输入配置下对比的。实际部署时还需要考虑模型本身的大小、图像主干网络的复杂度等因素。但不可否认高斯泼溅的聚合方式在计算效率上具有先天优势。4.2 精度表现与SOTA的差距仅有0.4% IoU论文报告GaussianLSS在nuScenes 3D目标检测任务上与最强的投影方法相比性能差距mAP或NDS仅在0.4%左右。这是一个非常了不起的成就因为它是在大幅提升效率的同时几乎保住了精度。这说明了什么不确定性建模的有效性深度不确定性建模不是噱头它确实带来了更鲁棒的特征表示缓解了传统LSS中由于深度估计不准带来的特征模糊问题从而弥补了与端到端投影方法之间的性能鸿沟。反投影路线的潜力在引入更先进的概率建模工具如高斯泼溅后基于几何的反投影方法依然有巨大的提升空间并不逊色于纯数据驱动的投影方法。效率与精度的新平衡点GaussianLSS找到了一个介于传统LSS快但精度一般和BEVFormer精度高但慢之间的绝佳平衡点为实时自动驾驶系统提供了一个极具吸引力的选择。4.3 不确定性可视化的启示论文中通常会对预测的深度不确定性进行可视化。我们会发现物体内部不确定性低颜色深蓝表示网络对这里深度的估计很有信心。物体边缘和轮廓不确定性升高颜色变黄/红这符合物理直觉边缘处的像素属于前景还是背景是模糊的。远处小物体和遮挡区域不确定性很高亮红色网络诚实地表示“我看不清这里”。天空等无纹理区域不确定性极高因为缺乏匹配特征。这种可视化不仅证明了网络学会了有意义的深度不确定性更重要的是它为下游任务和系统提供了宝贵的置信度信息。例如规划模块可以更信任低不确定性区域的检测结果对高不确定性区域保持谨慎。5. 实战启示与未来展望GaussianLSS不仅仅是一篇优秀的论文它给我们在实际研发中带来了很多切实的启示。5.1 对工程落地的直接影响模型选型新选择对于追求极高实时性的车载嵌入式平台如Jetson Orin地平线J5等GaussianLSS这类方法比BEVFormer更具吸引力。其确定性的计算图和更低的内存占用使得部署和优化如TensorRT量化的难度降低。系统级收益节省出来的计算资源和内存可以用于运行更复杂的下游任务如更精细的轨迹预测、增加感知频率、或者降低硬件成本。提供免费的不确定性输出无需额外设计复杂的网络分支模型天然输出了深度不确定性。这个信息可以无缝接入到后续的融合、跟踪、规划模块中实现不确定性感知的决策提升系统安全冗余。5.2 可能面临的挑战与应对思路尽管前景光明但在实际应用中仍需考虑以下问题训练稳定性同时优化深度分布、不确定性以及下游检测任务损失函数可能更复杂训练可能需要更精细的调参如学习率预热、损失权重调度。远距离性能基于单目深度估计的方法其精度随距离增加而衰减的固有难题依然存在。GaussianLSS通过不确定性表达了这种信心下降但绝对精度在远距离上可能仍不如激光雷达或双目系统。在实际系统中可能需要与稀疏的激光雷达点云进行特征级或决策级融合以取长补短。动态物体处理LSS范式通常假设场景是静态的或者通过多帧时序特征来隐式处理运动。对于快速运动的物体其深度不确定性会急剧变化如何更好地建模动态场景下的不确定性是一个值得探索的方向。5.3 可扩展的研究方向GaussianLSS打开了一扇门后续有很多工作可以跟进时序融合将当前帧的3D高斯与过去帧的BEV特征或3D高斯进行融合可以利用运动信息来 refine 深度估计和不确定性提升对动态物体的感知和轨迹的平滑性。与激光雷达融合激光雷达提供精确但稀疏的深度点。可以将激光雷达点云也表示为3D高斯具有极小的方差然后与图像产生的3D高斯在统一的框架下进行泼溅融合这比在BEV特征图上做后融合更加本质和紧密。更高效的高斯泼溅借鉴3D Gaussian Splatting在渲染中的优化技术如按深度排序、瓦片化渲染等可以进一步优化BEV特征构建的速度。下游任务定制不同的下游任务检测、分割、车道线识别对不确定性的敏感度不同。可以探索任务自适应的不确定性感知BEV特征调制机制。从我个人的经验来看GaussianLSS代表了一种非常务实且有力的研究方向不盲目追求模型结构的复杂度而是深入思考问题的本质深度不确定性并借用其他领域计算机图形学成熟的思想高斯泼溅来优雅地解决问题同时收获了效率和鲁棒性。这种跨领域的思维方式和扎实的工程实现比单纯堆叠Transformer层数更有生命力。在自动驾驶感知这条卷到极致的赛道上有时候回归基础并用新的工具重新审视它反而能走出一条更宽的路。