基本信息题目LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives作者Jiadi Cui, Junming Cao, Fuqiang Zhao, Zhipeng He, Yifan Chen, Yuhui Zhong, Lan Xu, Yujiao Shi, Yingliang Zhang, Jingyi Yu会议 / 期刊ACM Transactions on Graphics, SIGGRAPH Asia 2024方向3D Gaussian Splatting, LiDAR-assisted Reconstruction, Large-scale Scene Rendering, LOD Rendering, Garage Modeling代码官方实现为 https://github.com/zhaofuq/LOD-3DGS一句话总结LetsGo 是一个面向大型地下 / 室内车库的 LiDAR 辅助 3DGS 系统它用 LiDAR-IMU-鱼眼相机设备解决车库场景中 SfM 失败、相机位姿不稳、几何约束不足的问题再通过 LiDAR 深度正则和多分辨率 LOD Gaussian 表示实现大规模车库的高质量建模和轻量级实时渲染。Introduction大型车库是一个很典型但又很难的三维重建场景。它不像街景那样有丰富纹理也不像小物体重建那样边界明确。车库里经常存在以下问题大面积低纹理区域地面、墙面、天花板、柱子颜色单调重复结构严重车位线、柱子、通道、管线、灯带高度重复光照复杂地下车库光照暗局部区域有强反射或曝光变化透明 / 反光物体多车辆玻璃、车身、金属反光会影响视觉匹配和 LiDAR 几何场景尺度大一个车库可能上万甚至数万平方米Gaussian 数量巨大GPS 不可用地下和室内车库很难依赖 GPS 辅助定位。传统 SfM / COLMAP 依赖图像特征点匹配。可是在车库里地面和墙面缺少纹理结构又高度重复所以图像之间难以建立稳定对应关系导致相机位姿估计失败。论文指出传统 SfM 和 MVS 在这类低纹理、重复结构环境中很难提取足够特征并建立准确匹配LiDAR 虽然能提供几何但本身点云稀疏、有孔洞而且没有高频颜色纹理。因此LetsGo 的核心思想是不再完全依赖图像 SfM而是设计一个包含 LiDAR、IMU、鱼眼相机的 Polar 采集设备先获得可靠的几何、深度和相机信息再将这些信息融入 3D Gaussian Splatting。这里的 LiDAR 不是只作为初始化点云而是贯穿整个 pipelineLiDAR / IMU / Camera 采集→ LIV-SLAM 估计轨迹→ 融合 LiDAR 点云→ Poisson 重建 mesh→ 从 mesh 采样点初始化 Gaussian→ 用 LiDAR 深度图监督 Gaussian 训练→ 构建多分辨率 Gaussian→ LOD / Web 实时渲染论文第 5 页 Fig. 3 给出的框架图也是这个思路先用 Polar 数据生成 base mesh再分块处理之后把高质量扫描点云降采样为多分辨率点云用于 LOD-LiDAR-GS 初始化同时用深度正则做几何监督最终输出支持 LOD 的照片级渲染结果。研究问题与目标这篇论文要解决的问题可以概括为如何在低纹理、重复结构、光照复杂的大规模车库场景中构建一个既能高质量渲染、又能在轻量设备上实时显示的 3D Gaussian 表示具体目标包括1. 解决车库场景 SfM 失败问题普通 3DGS 需要 COLMAP / SfM 提供相机位姿和稀疏点云。但车库里图像匹配困难所以论文通过 LiDAR-IMU-Visual SLAM 获取更可靠的相机轨迹和点云。2. 让 LiDAR 不只用于初始化如果只把 LiDAR 点云作为 Gaussian 初始点其实只能解决初始几何问题训练后仍可能出现漂浮 Gaussian、地面模糊、墙面漂点。LetsGo 进一步使用 LiDAR depth prior 做训练监督。3. 支持大规模场景实时渲染大车库中的 Gaussian 数量巨大如果全量加载、全量排序、全量 rasterization显存和算力压力很大。因此论文提出多分辨率 Gaussian 表示和 LOD 渲染策略。4. 支持轻量设备和 Web 渲染论文不仅关注训练效果还实现了 PC Viewer 和 Web Viewer。LOD 渲染策略可以让不同设备按需加载不同分辨率 Gaussian而不是一次性加载完整场景。主要贡献论文的主要贡献可以归纳为四点。1. 设计 Polar 扫描设备并构建 GarageWorld 数据集作者设计了一个轻量级手持扫描设备 Polar包含LiDARIMU鱼眼相机实时 SLAM 处理单元。论文中的 Polar 设备用于采集大型车库的 RGBD / LiDAR / IMU 数据。鱼眼相机负责采集大视场 RGBLiDAR 负责几何IMU 辅助短时运动估计。论文还构建了 GarageWorld 数据集包含 8 个大型车库覆盖地下车库、多层室内车库、屋顶停车场等多种结构。2. 提出 LiDAR-assisted Gaussian SplattingLetsGo 将 LiDAR 派生的点云与相机参数引入 3DGS。具体做法不是直接用原始 LiDAR 点云而是LiDAR 点云融合→ Poisson mesh 重建→ mesh 清理→ 从 mesh 均匀采样点云→ 用采样点初始化 Gaussian论文明确说明原始扫描点云存在噪声因此他们从重建 mesh 上重新采样点再和相机参数一起用于训练 3DGS。代码里也能看到这一点。GaussianModel.create_from_pcd()会把输入pcd.points直接转为 Gaussian 中心_xyz颜色转为 SH 特征尺度由近邻距离初始化旋转初始化为单位四元数不透明度初始化为 0.1。3. 提出 LiDAR depth regularizer 减少 floaters原始 3DGS 主要靠 RGB photometric loss 训练。在大规模场景中仅靠颜色监督容易出现漂浮点、地面雾化、几何不贴合等问题。LetsGo 加入 LiDAR 深度监督其中 () 比较 Gaussian 渲染深度和 LiDAR 提供的深度先验。论文还强调Gaussian 深度不应简单使用 Gaussian 中心深度而要考虑 Gaussian 的形状和方向计算光线与 Gaussian 分布相交位置处的期望深度。代码中训练时render_pkg会返回depth随后经过warpped_depth(depth)再与viewpoint_cam.depth和depth_mask计算 L1 depth loss最后与 RGB loss 相加。4. 提出多分辨率 LOD Gaussian 表示大车库场景不适合一次性加载全部 Gaussian。论文提出 LOD-LiDAR-GS用不同分辨率的 Gaussian 表达不同尺度内容。低分辨率层表达远处、低频、整体结构高分辨率层表达近处、高频、细节纹理渲染时根据相机视角、视锥和深度选择不同层级 GaussianWeb 渲染时先加载低分辨率层再按需加载高分辨率 octree chunk。论文中多分辨率点云由 mesh-sampled 点云逐级下采样得到点间距从 () 开始逐级变粗论文设定 () cm点数阈值为 10,000并使用 PotreeConverter 进行近似 Poisson-disk 下采样。代码中readoctreeColmapInfo()会读取 COLMAP 格式的 camera extrinsics / intrinsics同时读取 depth folder如果没有 octree会把points3D转成 LAS再调用 PotreeConverter 生成 LOD pointclouds。Related Works1. 传统显式重建SfM / SLAM / MVS传统三维重建依赖图像特征点跟踪、多视角几何一致性和稀疏 / 稠密匹配。SfM 和 SLAM 更偏重位姿估计MVS 更偏重深度和表面重建。但在车库场景中这类方法会遇到明显问题低纹理导致特征点不足重复结构导致错误匹配车辆玻璃和反光表面导致几何异常地下环境无法使用 GPS稀疏点云不足以支撑高质量新视角合成。因此论文认为需要引入主动传感器 LiDAR 和 IMU 来增强几何与位姿估计。2. NeRF 与 3DGSNeRF 能合成高质量新视角但训练和渲染成本高和传统图形管线结合也不够直接。3D Gaussian Splatting 用显式 Gaussian 表示场景能实现实时渲染和较高质量是近年来新视角合成的重要方向。但是原始 3DGS 仍依赖 SfM 输入。当 SfM 在车库中失败时普通 3DGS 的相机位姿和初始点云都会不可靠。LetsGo 的不同点在于它不是单纯改 3DGS 表示而是从采集、位姿、几何初始化、深度监督到 LOD 渲染做了完整系统设计。3. Large-scale Gaussian 与 LOD 渲染已有一些大规模 3DGS 方法如 VastGaussian、CityGaussian、Octree-GS、Hierarchical 3DGS 等关注分块、层次结构、LOD 和大场景渲染。LetsGo 的特点是它聚焦地下 / 室内车库这种特殊场景并把 LiDAR-assisted geometry 与 LOD Gaussian 结合起来。论文认为很多现有 LOD Gaussian 方法仍需要高性能设备加载完整场景或者缺少面向 Web / 轻量设备的按需加载机制。LetsGo 则把多分辨率 Gaussian 存入 octree并设计 coarse-to-fine on-demand 渲染。Method系统整体框架整个系统可以简化为Polar 设备采集 ↓ LiDAR IMU 鱼眼相机同步 ↓ LIV-SLAM 估计相机 / 传感器位姿 ↓ 融合 LiDAR 点云 ↓ Poisson Reconstruction 得到 mesh ↓ mesh 清理与隐私处理 ↓ 从 mesh 采样点云 ↓ 生成多分辨率 point cloud ↓ 初始化多层 Gaussian ↓ RGB loss LiDAR depth loss 训练 ↓ LOD-LiDAR-GS 表示 ↓ PC Viewer / Web Viewer 实时渲染分析这篇论文不是一个单点算法而是一个完整系统。它的关键不是单纯提出一个 loss而是把“车库采集难、位姿难、初始化难、几何漂浮、渲染太重”这些问题串起来解决。核心模块一Polar 采集设备与数据获取1. 设备组成Polar 设备包含Ouster LiDARInsta360 鱼眼相机Xsens IMUmini PC 实时处理单元电池和肩背支架。论文中鱼眼相机具备 6K 分辨率、180°×180° FOV、30 FPSLiDAR 每秒采集 260 万点测距精度约 1–1.5 cm最大探测距离 50 mIMU 提供短时运动估计。2. 采集策略为了覆盖整个车库作者沿规划轨迹多次采集forward-facingbackward-facingside-leftside-right。这样可以尽量覆盖车库中的墙面、地面、车辆、坡道和拐角。对于光照变化明显的区域作者选择清晨或傍晚采集以降低室内外光照差异对于感应灯车库则等灯亮后采集。论文还控制采集速度正常情况下约 1.0±0.2 m/s转弯速度约 15°±3°/s低光照区域会进一步降低速度以避免运动模糊。分析这一部分很工程但非常重要。3DGS 很多时候不是模型本身不行而是输入位姿和图像质量不行。LetsGo 通过采集策略降低了后续优化难度。核心模块二相机位姿与初始 mesh 重建1. LIV-SLAM 估计相对位姿论文采用现成的 LiDAR-Inertial-Visual SLAM 来估计不同时间步之间的传感器相对位姿。它结合LiDAR-Inertial OdometryVisual-Inertial OdometryLiDAR 与 camera 的联合优化。IMU 提供短时运动估计LiDAR 提供几何距离约束相机在有纹理区域提供视觉信息。三者融合后比纯视觉 SfM 更适合车库这种低纹理、GPS 不可用的场景。2. 点云融合与 Poisson mesh得到相对位姿后作者把不同时间步的 LiDAR 点云融合到统一坐标系中再用 Poisson Reconstruction 生成 mesh。为了清理错误面片作者会把 mesh 与原始点云做最近邻比较如果 mesh face 离原始点云过远则删除。分析这里 mesh 并不是最终渲染表示而是一个中间几何载体。它的作用是把 LiDAR 的稀疏、带噪、不均匀点云变成更适合采样 Gaussian 初始点的表面几何。核心模块三LiDAR 如何融入 3DGS这是这篇论文最关键的部分。很多人容易把这篇论文理解成用 LiDAR 点云初始化 3DGS。这个说法只对了一部分。更准确地说LiDAR 在 LetsGo 中有三种作用提供相机 / 传感器位姿估计的几何约束提供 Gaussian 初始化点云提供 depth prior 做训练监督。1. LiDAR 用于初始化 Gaussian原始 3DGS 初始化时通常使用 SfM 稀疏点云。LetsGo 中SfM 在车库里不可靠所以改用 LiDAR 派生点云。论文中的流程是Raw LiDAR point cloud ↓ LIV-SLAM fusion ↓ Poisson mesh ↓ mesh sampling ↓ initial Gaussian centers也就是说不是直接把 raw LiDAR 点云塞进 3DGS而是从重建 mesh 上重新采样点。论文消融也表明4 cm mesh-sampled point cloud 明显优于 4 cm raw LiDAR point cloud。代码层面create_from_pcd()中pcd.points→ Gaussian 的_xyzpcd.colors→ SH 的 DC colordistCUDA2()计算近邻距离初始化 scalerotation 初始化为[1,0,0,0]opacity 初始化为 0.1。所以从代码看LiDAR 派生点云确实是 Gaussian primitive 的空间初始化来源。2. LiDAR 用于 depth regularization仅初始化是不够的。训练过程中如果只使用 RGB lossGaussian 可能会在地面、墙面、车辆边缘附近产生 floaters。LetsGo 加入 LiDAR depth loss总损失为其中 () 是 Gaussian 渲染出来的深度(D) 是 LiDAR 提供的深度先验。论文指出这个 depth constraint 可以减少漂浮伪影并让 Gaussian kernel 更贴合 LiDAR 几何。代码中对应位置在train.pydepth warpped_depth(depth) ... if viewpoint_cam.depth is not None: gt_depth viewpoint_cam.depth.cuda() gt_depth_mask viewpoint_cam.depth_mask.cuda() ... depth_loss 2.0 * l1_loss(depth * gt_depth_mask, gt_depth * gt_depth_mask) loss rgb_loss depth_loss也就是说当前公开代码中只要数据目录包含 depth 文件训练就会加入 depth loss。README 的训练命令中也明确包含--depths depths注释为 “use for depth loss if contains depths folder”。3. LiDAR 用于 LOD 多分辨率结构LiDAR 点云天然适合做层次化、多分辨率和 octree 存储。LetsGo 利用这一点把场景点云逐级下采样成不同分辨率层然后每个层级训练一套 Gaussian。粗层负责全局结构细层负责局部细节。渲染时根据深度选择层级近处高分辨率 Gaussian远处低分辨率 Gaussian视野外不加载Web 端按需加载高分辨率 chunk。代码中readoctreeColmapInfo()会把点云转成 LAS然后调用 PotreeConverter 生成 octree LOD pointclouds。核心模块四LiDAR 与相机外参如何对齐这是这篇论文中很值得注意的工程细节。1. 为什么外参对齐很难LiDAR 和鱼眼相机之间的外参标定很难因为LiDAR 点云稀疏LiDAR 点云无颜色鱼眼图像畸变大普通 checkerboard 在 LiDAR 点云中不容易建立精确对应车库中反光和透明物体会进一步干扰。2. 论文使用 FARO 作为桥接传感器论文在 Appendix A 中说明作者额外引入 FARO laser scanner 作为桥接。FARO 可以提供稠密、准确、有颜色的点云。因此标定链路是FARO ↔ Polar LiDAR点云配准 FARO ↔ 鱼眼相机彩色点云与鱼眼图像颜色对应 最终 Polar LiDAR ↔ 鱼眼相机由两条变换链组合得到作者使用棋盘格作为标定场景同时用 FARO 和 Polar 采集。FARO 与 Polar LiDAR 的相对位姿通过点云配准获得FARO 与鱼眼相机的相对位姿通过 FARO 彩色点云与鱼眼图像之间的颜色对应获得。最后把 FARO→LiDAR 和 FARO→Camera 的变换连接起来就能得到 LiDAR-camera 外参。该过程重复 12 次以降低实验误差并且 FARO 只在正式扫描车库前标定一次不参与后续采集。3. 代码中是否优化外参从公开训练代码看训练阶段并不显式优化 LiDAR-camera 外参。代码读取的是已经整理好的 COLMAP-like 数据结构sparse/0/images.bin或images.txtsparse/0/cameras.bin或cameras.txtsparse/0/points3D.ply/bin/txtdepths文件夹。readoctreeColmapInfo()中直接读取 camera extrinsics 和 intrinsics再读取 image / depth。所以可以判断LiDAR 和相机外参对齐主要发生在采集前标定与数据预处理阶段而不是在 LOD-3DGS 训练阶段联合优化。这也是复现时需要注意的地方。公开代码更像是 “已对齐数据的训练与渲染框架”不是完整的原始传感器标定系统。核心模块五多分辨率 LOD-LiDAR-GS1. 为什么需要 LOD原始 3DGS 在小场景中表现很好但大车库场景有两个问题Gaussian 数量极大每一帧渲染都要做排序、投影和 alpha blending。如果每次渲染都加载完整场景哪怕高端 GPU 也会有压力更不用说浏览器、平板、普通笔记本。2. 多分辨率 Gaussian 初始化作者先构建多分辨率点云。最细层来自 mesh-sampled point cloud然后逐级增加采样间距得到更粗的点云。每个点云层级初始化一个 Gaussian model。论文中最细层 LOD 值最高最粗层 LOD 值最低每个 Gaussian 除了 position、opacity、SH、scale、rotation 外还有 LOD 属性LOD 属性会影响 clone / split 的阈值。3. 每层独立训练代码中Scene里维护多个GaussianModel。每个 level 都有自己的 Gaussian 参数、optimizer、densification、opacity reset。densify_and_prune()中作者根据 level 调整 densification 阈值scale min(sqrt(2) ** (max_level - level), 4.0)这对应论文中的 level-wise scaling factor。粗层允许更大的尺度和更粗的分裂策略细层则更关注局部高频细节。4. 根据深度选择 Gaussian 层级get_gaussian_parameters()会对每个 level 的 Gaussian 计算当前视角下的深度并根据深度激活不同 level。近处更可能选择高分辨率 Gaussian远处使用低分辨率 Gaussian。5. Random-Resolution-Level 训练如果训练时总是按照固定 LOD 策略渲染某些层可能因为相机分布偏置而过拟合。论文提出 Random-Resolution-Level也就是有时用 LOD 混合层训练有时随机选择某个单独 level 训练。代码中可以看到level_stack list(range(-scene.max_level, scene.max_level 1)) random_level level_stack.pop(randint(0, len(level_stack)-1)) ... scene.get_gaussian_parameters(..., randomrandom_level)这说明训练过程中确实会随机选择层级或 LOD 组合参与渲染。分析RRL 是一个很实用的工程技巧。它的目的不是改变 Gaussian 表达能力而是避免某一层只在特定视角或特定距离上训练充分导致多层切换时出现局部质量不稳定。核心模块六Web-based Lightweight Renderer论文不仅训练了多分辨率 Gaussian还实现了 Web 端轻量渲染器。核心思想是不要一次性加载全场景 Gaussian而是根据当前视角、视锥和深度需求按需加载。渲染流程为初始化时加载低分辨率 Gaussian ↓ 根据当前相机视锥遍历 octree ↓ 判断哪些高分辨率 chunk 可见 ↓ 按需从磁盘加载 Gaussian 数据 ↓ 替换或补充当前 buffer ↓ WebGL worker 渲染论文称基于 LOD 策略的 PC viewer 在 RTX 3090 上可以比原始 3DGS SIBR viewer 快约 3–4 倍并且 Web renderer 可以在轻量设备上运行。实验设置与结果1. 数据集论文使用三个数据来源GarageWorldScanNetKITTI-360。GarageWorld 是论文自建的大规模车库数据集包含 8 个场景包括地下车库、多层室内车库、室外屋顶停车场等。每个场景都包含大量图像、点云和 mesh face。2. 对比方法对比方法包括3DGS*Mip-Splatting*Splatfacto*OCT-GS*LoG-GS*F2-NeRFInstant-NGPREAD。其中带*的方法表示使用作者提供的 LiDAR-derived point cloud 进行初始化而不是普通 SfM 点云。这个设置比较公平因为普通 SfM 在车库里很可能根本失败。3. 量化结果在 GarageWorld 上LOD-LiDAR-GS 获得了最好的 LPIPS 和最高 PSNR说明视觉质量更好。论文表 2 中Ours 在 GarageWorld 上 PSNR 为 25.77LPIPS 为 0.210在 KITTI-360 上 PSNR 为 24.53LPIPS 为 0.167优于大部分对比方法。分析这说明方法不仅在车库数据集上有效在大型街景 KITTI-360 上也有一定泛化能力。不过 ScanNet 上并不是所有指标都第一说明它的优势主要集中在大规模、几何复杂、SfM 不稳定场景。4. 深度正则消融论文 Fig. 9 显示如果没有 depth regularization地面附近容易出现浮点和模糊加入 depth regularization 后地面更干净Gaussian 更贴合真实表面。5. 点云质量消融论文比较了2 cm mesh points4 cm mesh points6 cm mesh points8 cm mesh points10 cm mesh points4 cm raw LiDAR points。结果显示点云越密通常效果越好但训练成本迅速增加。2 cm mesh 虽然质量更高但 Gaussian 数量和训练时间很大4 cm mesh 在质量和效率之间更平衡。更重要的是4 cm raw LiDAR points 明显差于 4 cm mesh points。分析这个结果很关键。它说明 LiDAR 本身不是万能的。直接使用原始 LiDAR 点云并不一定好经过 mesh 重建和表面采样后初始化点云更规整更适合 3DGS 优化。6. LOD 渲染消融论文 Fig. 10 显示加入 LOD 后viewer 速度约为原始 3DGS SIBR viewer 的 3–4 倍同时保持相似视觉质量。7. RRL 训练消融论文 Fig. 12 显示Random-Resolution-Level 训练可以缓解某些层级过拟合问题使不同分辨率层在渲染时更加稳定。代码对应关系论文模块代码位置作用官方实现与训练入口README提供--use_lod、--depths depths等训练参数读取 COLMAP 格式数据scene/dataset_readers.py读取相机内外参、图像、depth、points3D生成 LOD pointcloudreadoctreeColmapInfo()points3D → LAS → PotreeConverter → octreeGaussian 初始化scene/gaussian_model.py::create_from_pcd()点云坐标初始化 Gaussian center颜色初始化 SH随机层级训练train.py随机选择 LOD / 单层参与训练Depth regularizationtrain.py渲染 depth 与 GT depth 计算 L1 lossLOD 参数筛选scene/__init__.py::get_gaussian_parameters()根据深度选择激活 Gaussian level分层 densificationscene/__init__.py::densify_and_prune()不同 level 使用不同 scale 调整 densify 阈值复现时需要注意README 中的训练命令要求输入是 “GarageWorld scene with COLMAP format”并通过--use_lod开启 LOD通过--depths depths使用深度监督。(GitHub)创新点总结创新点 1面向车库这一特殊大规模室内场景很多大规模 3DGS 工作关注城市街景或户外场景但地下车库有一组很独特的问题低纹理、重复结构、暗光、透明玻璃、GPS 不可用。LetsGo 把问题定义得很具体也构建了 GarageWorld 数据集形成了一个明确 benchmark。创新点 2LiDAR-assisted 不是只做初始化这篇论文的 LiDAR 融合不是简单的 “LiDAR point cloud initialization”。它至少包括LiDAR / IMU / Camera 位姿估计LiDAR-derived mesh sampling 初始化 GaussianLiDAR depth prior 监督训练LiDAR 点云多分辨率结构用于 LOD。因此它是一个多层次 LiDAR-assisted 3DGS。创新点 3Depth regularizer 针对 3DGS floaters 问题3DGS 的 floaters 是大场景中的常见问题。LetsGo 使用 LiDAR depth prior 做几何约束使 Gaussian 更贴近真实表面。论文还不是简单用中心深度而是从 Gaussian 分布角度推导期望深度理论上更符合 anisotropic Gaussian 的几何表达。创新点 4多分辨率 Gaussian LOD 渲染论文把 LiDAR 点云领域常见的多分辨率 / octree 思想引入 Gaussian 表示。低层表达整体高层表达细节渲染时按视角和深度选择。这使得大规模车库场景可以在 PC 和 Web 上更高效渲染。创新点 5RRL 训练策略Random-Resolution-Level 训练解决了多层 Gaussian 中某些层级过拟合的问题。这个设计虽然看似简单但对 LOD 表示稳定性很重要。创新点 6从采集到渲染的完整工程闭环论文不是只提出一个算法模块而是包括采集硬件标定方法数据集mesh 预处理LiDAR-assisted 3DGSLOD trainingPC viewerWeb viewer应用展示。这类系统型论文的优点是完整、可落地也容易产生数据集和平台价值。不足与局限1. 依赖定制采集设备LetsGo 的效果依赖 Polar 设备提供高质量 LiDAR 点云、RGB 图像和相机信息。论文自己也承认当前方法主要聚焦大型车库并依赖轻量 3D scanner未来需要探索更轻量设备例如带深度传感器的手机。分析这意味着普通用户如果只有单目视频或普通相机很难直接复现同样效果。它不是一个纯视觉 3DGS 方法而是一个强传感器辅助系统。2. LiDAR-camera 外参标定较复杂论文使用 FARO laser scanner 作为桥接传感器来标定 LiDAR 和鱼眼相机外参。这个方案精度高但工程门槛也高。普通实验室或个人用户未必具备 FARO 设备。改进方向可以研究无需 FARO 的 LiDAR-camera self-calibration或者在 3DGS 训练阶段联合优化小范围外参误差。3. 公开代码不包含完整原始采集与标定 pipeline从 GitHub 代码看训练阶段主要读取已整理好的 COLMAP-like 数据和 depth folder。也就是说代码更偏向训练 / LOD / 渲染部分原始 LiDAR、IMU、鱼眼视频如何同步、标定、融合、生成 depth map并没有完整开源在主训练流程中。改进方向如果作者后续开放完整数据预处理工具链复现门槛会明显降低。4. 光照不可编辑论文在 limitations 中明确指出当前 pipeline 不支持修改光照条件。因此采集时必须仔细控制光照例如清晨 / 傍晚采集等待感应灯开启等。分析这说明它本质上仍然是 image-based rendering而不是可物理编辑的 relightable scene representation。对于 VFX 或仿真如果需要改变车库灯光、模拟白天黑夜、关闭部分灯具目前还不够灵活。5. LOD 切换可能产生 artifact论文指出不同 Gaussian level 加载和切换时可能产生 switching artifacts。作者提到未来可以通过相邻层级插值来缓解。分析这是所有 LOD 方法都会遇到的问题。靠距离硬切换层级时画面中可能出现细节突然跳变。6. 对动态变化处理不足车库是动态场景车辆会移动行人会出现车位状态会变化。论文虽然做了动态物体处理和隐私处理但重建结果主要还是静态场景表示。改进方向可以引入时间维度构建 dynamic / editable / updatable Gaussian garage map。7. 训练和预处理成本仍然不低论文中完整流程包括采集、预处理和训练通常需要 12–16 小时每个场景会分成 3–10 个 block每个 block 训练 1.5–4 小时复杂 block 甚至超过 8 小时。分析这已经比许多 NeRF 系统更实用但还不能算轻量级在线建图。它更适合离线建模、仿真资产制作和地图构建而不是实时扫描实时训练。8. 几何精度与渲染真实感之间仍有差距3DGS 很适合照片级渲染但它不一定等价于高精度几何重建。对于自动驾驶仿真或定位渲染质量好不代表几何完全可测量。LiDAR depth regularization 能缓解这一点但 Gaussian 本身仍是 radiance representation不是严格 mesh / CAD 几何。对后续研究的启发1. 从 “LiDAR 初始化 3DGS” 升级为 “LiDAR 约束 3DGS”很多工作只把 LiDAR 点云作为初值但 LetsGo 说明更有效的方式是LiDAR pose prior LiDAR point prior LiDAR depth prior LiDAR LOD structure后续可以继续加入LiDAR normal priorLiDAR intensity priorsemantic priorplane / line structural prioroccupancy / free-space prior。2. 做 LiDAR-camera-Gaussian 联合优化当前 pipeline 中外参主要在预处理阶段确定。未来可以考虑在 Gaussian 训练时联合优化camera poseLiDAR-camera extrinsicGaussian geometrydepth scale / bias。这对低成本传感器尤其重要。3. 让车库 Gaussian 支持可编辑光照如果要用于自动驾驶仿真仅照片级渲染不够还需要开灯 / 关灯白天 / 夜晚车灯照射反射材质变化雨水 / 地面积水等环境变化。这需要从纯 radiance field 走向 relightable Gaussian 或材质分解 Gaussian。4. 动态车库地图真实车库中车辆停放状态不断变化。可以考虑静态背景 Gaussian动态车辆 Gaussian车位 occupancy时间维度变化可增量更新地图。这会让 LetsGo 更接近真实自动泊车和地下导航应用。总结LetsGo 的核心价值不是单纯提出一个新的 3DGS loss而是提出了一套面向大型车库的完整 LiDAR-assisted Gaussian Splatting 系统用 Polar 设备解决采集问题用 LIV-SLAM 和 LiDAR 解决位姿问题用 mesh-sampled LiDAR 点云解决 Gaussian 初始化问题用 LiDAR depth regularizer 解决 floaters 和几何不稳问题用多分辨率 Gaussian 和 LOD 渲染解决大规模场景实时显示问题用 Web renderer 把大规模 Gaussian 场景推向轻量设备。这篇论文最值得借鉴的是它的系统性。它并不是把 LiDAR 当成一个简单初始化工具而是把 LiDAR 作为几何、位姿、监督和层次结构的共同来源。对于做大规模 3DGS、自动驾驶仿真、地下空间建图、室内导航和 VFX 资产重建的人来说这篇工作很有参考价值。但是它也有明显工程依赖需要专门采集设备、复杂外参标定、离线预处理和较长训练时间。未来如果能在低成本设备、联合标定优化、光照可编辑、动态更新和在线训练方面继续推进LiDAR-assisted 3DGS 会更接近真正可部署的大规模空间数字化系统。