点云深度学习三篇核心论文对比梳理研0暑期进组学习 · 3D点云多模态方向 · 对比学习系列第 3 篇对应精读笔记(8)(9)(10)PointNet / PointNet / PointCLIP一、方法对照表维度PointNetPointNetPointCLIP输入表示原始点云(n×3)(n\times 3)(n×3)原始点云(n×3)(n\times 3)(n×3)多视角深度图投影6 个正交视角核心思想共享 MLP 全局 Max Pooling 对称函数直接处理无序点集以 PointNet 为微观提取器递归 Set Abstraction 实现层次化局部建模多视角深度图桥接 CLIP 双塔将 2D 视觉-语言预训练知识迁移至 3D是否处理局部结构否一次性全局池化无显式邻域是Ball Query 球形邻域 Mini-PointNet 局部聚合间接各视角独立编码靠 CLIP 视觉先验隐式捕捉局部是否层次化否是多层 SA 由细到粗棱角→部件→整体否各视角平行处理加权融合排列不变性Max Pooling 对称函数天然保证继承Mini-PointNet 内部 Max Pooling不需要投影后的图像有固定像素顺序旋转/几何不变性T-Net 动态预测仿射变换矩阵 正交正则损失可选继承 T-Net 思路MSG/MRG 自适应密度变化无显式机制依赖多视角覆盖完备性6 正交视角近似各方向训练范式全监督从零在 3D 数据上训练全监督从零在 3D 数据上训练零样本冻结 CLIP无 3D 训练/ 少样本仅微调 Adapter数据/标注需求高需大规模带标注 3D 点云高同上甚至更多以支撑复杂场景极低零样本无任何 3D 标注16-shot 仅需每类 16 个样本关键创新对称函数、T-Net 联合对齐网络、分割跳跃连接最远点采样 FPS、球形查询 Ball Query、多尺度 MSG / 多分辨率 MRG、Feature Propagation 上采样多视角深度图投影模态桥接、Inter-view Adapter 少样本适配、多知识即插即用集成适用任务物体分类、语义分割物体级 / 场景级分类、分割尤其 ScanNet 等复杂室内场景分类零样本 / 少样本可作为推理期插件增强任意全监督 3D 网络代表精度MN40~89.2%89.71%集成后可达 92.10%零样本 20.18% / 16-shot 87.20%集成增强后可达 94.08%二、核心 Trade-off 分析表征能力 vs 数据效率 vs 计算成本模型表征能力数据效率计算成本核心 Trade-offPointNet中——全局形状描述强完全丢失局部几何与精细结构低——依赖大规模 3D 全量标注低——轻量 MLP 单次前向极简高效但精度天花板低对称函数设计优雅且泛化好但在复杂场景如 ScanNet 室内分割因无法捕捉局部细节而显著落后于后续方法PointNet强——层次化局部建模从棱角到部件到整体逐层抽象低——仍需全量 3D 标注MSG/MRG 更吃数据中高——FPS Ball Query 多层 SA 的开销随点数增长最强表征但代价高昂把 CNN 分层理念成功搬入非结构化点云精度全面超越 PointNet代价是标注需求大、算力随点数和层数线性增长且 MSG 在最底层计算极贵PointCLIP中——跨模态开放语义强3D 几何推理弱于全监督方法极高——零样本无需任何 3D 标注少样本仅需极少样本即可逼近全监督推理中6 视角 × CLIP 前向训练几乎为零范式转换的效率红利牺牲了显式的 3D 几何建模能力换来极致的数据效率和开放词汇泛化零样本精度有限但通过 Adapter 和集成可大幅补强是低数据 regime 下极具性价比的选择三点规律性洞察范式跃迁“在 3D 里造轮子” → “向 2D 大模型借知识”PointNet / PointNet 的路线是在点云内部不断堆叠更精巧的结构对称函数→层次化局部本质上是「在 3D 里从零学」。这条路走得越远对 3D 标注数据的渴求越大。PointCLIP 则走了另一条路——既然 3D 数据少、标注贵那干脆绕开 3D 结构建模用投影把点云变成 CLIP 能看的图片直接借用 2D 领域海量图文对预训练好的开放语义。当数据成为瓶颈时知识迁移比堆结构更划算。局部 vs 全局三条不同的解题路径PointNet 选择「只看全局」——Max Pooling 把所有点压成一个向量简单粗暴但丢掉一切局部PointNet 选择「从局部到全局」——Ball Query 划定物理邻域SA 层层抽象CNN 化地重建局部-全局层次PointCLIP 选择「换一种全局」——不显式建模 3D 局部而是让每个 2D 视角的 CNN 自己去理解图像里的局部再用多视角拼接出 3D 整体认知。三条路径各有适用场景数据充足时 PointNet 最优数据稀缺或需开放词汇时 PointCLIP 独占优势追求极致速度与简洁时 PointNet 仍有价值。监督信号的来源决定了能力边界PointNet / PointNet 吃的是封闭集的 3D 标注类别固定、数量有限所以它们擅长见过的类但遇到 unseen 类别束手无策PointCLIP 吃的是开放的图文对CLIP 预训练涵盖上千类自然语言概念所以它能做 zero-shot 泛化——哪怕训练时没见过吉他这个 3D 类别只要文本里有 “guitar” 这个词就能认。监督信号越开放模型的泛化边界就越宽。三、点云理解方法知识图谱3.1 图谱说明上方为 6 个核心技术节点下方为 3 个模型节点连线表示模型采用了该技术实线 核心采用 ●虚线 部分采用 ◐。3.2 技术 × 模型对应矩阵技术 \ 模型PointNetPointNetPointCLIP对称函数全局聚合Max Pooling●●—T-Net 几何对齐●◐—层次化局部建模Set Abstraction—●—球查询局部邻域Ball Query—●—多视角深度图投影——●2D→3D 预训练迁移CLIP / Adapter——●● 核心采用◐ 部分采用PointNet 的 mini-PointNet 内核继承了 T-Net 思路但实际实现中常可选省略显式 T-Net故标记为部分— 未采用3.3 关键观察对称函数是点云处理的基石PointNet 与 PointNet 都依赖它做置换不变的聚合说明如何在不排序的前提下合并所有点的信息是所有基于原始点的方法必须回答的第一题。局部结构建模是性能跃升的分水岭PointNet 相比 PointNet 最大的增量来自 Ball Query SA——一旦有了显式的局部邻域模型就能捕捉曲率、棱边等精细几何分类与分割精度均获质的提升。PointCLIP 走了一条完全不同的技术栈它没有沿用任何传统点云处理技术对称函数、T-Net、Ball Query而是用「投影 2D 编码器」替代了全部 3D 结构建模。这意味着它在放弃显式 3D 几何的同时也规避了所有 3D 方法共有的数据饥渴问题。两条路线互斥但不矛盾从矩阵可见 PointNet / PointNet 的技术栈高度重叠前者是后者子集而 PointCLIP 的技术与二者完全正交。这种正交性正是它们能做知识互补集成的根本原因——两个同源的全监督模型融合往往增益有限特征冗余而一个全监督 3D 一个2D 预训练的异源组合却能产生 112 的效果。四、点云理解方法演进综述点云深度学习的演进本质上是一条从在 3D 世界里自力更生走向向 2D 视觉-语言预训练借力的路径。2017 年PointNet 的出现标志着点云处理范式的第一次革命。在此之前研究者只能将点云转化为体素网格Voxel Grid数据爆炸、量化失真或多视图渲染Multi-view难以拓展到分割任务。PointNet 用共享 MLP 全局 Max Pooling 这一极简组合首次实现了对原始无序点集的直接端到端学习。其引入的 T-Net 通过动态预测仿射变换矩阵解决了旋转不变性问题分割任务中创新的跳跃连接更是以最小代价实现了局部与全局特征的融合。然而PointNet 本质上对所有点一视同仁完全忽略了由欧氏距离定义的局部邻域关系导致难以捕捉精细几何结构。紧随其后PointNet 将 PointNet 作为微观特征提取器递归地应用于嵌套局部区域构建了类似 CNN 的层次化抽象架构。最远点采样FPS保证了中心点均匀铺满物体表面球形查询Ball Query以固定物理半径划定局部邻域避免了 kNN 的尺度漂移问题多层 Set Abstraction 从底层棱角逐步抽象到高层完整轮廓。针对真实扫描数据的密度不均匀性进一步提出了多尺度分组MSG和多分辨率分组MRG策略。Feature Propagation 上采样解码器配合跳跃连接使得稠密逐点预测如室内场景语义分割成为可能。PointNet 全面超越了 PointNet却也继承了它的根本限制——仍然依赖大规模 3D 标注数据且面对 unseen 类别束手无策。2022 年PointCLIP 代表了第三种范式的崛起。它不再试图在 3D 内部构建更强的结构而是转向跨模态知识迁移将点云投影为多视角深度图送入 2D 预训练的 CLIP 双塔进行识别。这一设计的精妙之处在于CLIP 已经在海量图文对上学会了丰富的视觉-语言语义PointCLIP 只需解决如何让 3D 数据喂进 2D 编码器这一个桥梁问题多视角深度图投影就免费获得了强大的开放词汇识别能力。零样本下无需任何 3D 训练即可达到有意义的分类精度少样本下仅微调一个轻量的 Inter-view Adapter 就能逼近全监督水平推理期更可作为插件与 PointNet 等 3D 网络即插即用式集成利用知识的互补性普遍带来增益。总体而言点云方法的演进呈现出一条清晰的轨迹从能不能直接处理点云PointNet→ “能不能像 CNN 一样分层建模局部结构”PointNet→ “能不能不训 3D 也能认 3D”PointCLIP。每一步都在回答一个更深层的约束——不是怎么做更好而是当某种资源标注/算力/数据不足时还能不能做。五、对 3D 点云主线的迁移思考这张对比表其实已经把下周要进的ULIP / ULIP-2的铺垫都埋好了PointCLIP 是2D→3D 知识迁移的第一个成功尝试它证明了 CLIP 的图文对齐空间能借给 3D这正是 ULIP 的出发点——ULIP 用 CLIP 的图像/文本编码器当老师引导 3D 编码器对齐到统一空间Uni3D 的 2D 初始化思路也一脉相承用 2D 预训练 ViT 做 3D 编码器既然 3D 数据少就向 2D 大模型借的范式PointCLIP 是第一个吃螃蟹的多视角投影 即插即用集成是后续 3D 多模态方法常用的低成本蹭 2D 大模型手段。换句话说本周三篇是基础能力与范式拐点的合集——PointNet 给了 3D 结构的天花板PointCLIP 给了跨模态迁移的入口。下周 ULIP 要做的就是把 PointCLIP 的桥接升级成对齐训练让 3D 编码器真正学会和图像、文本待在同一个空间里。附演进脉络时间线2017.01 PointNet ── 对称函数 T-Net开创点云直接学习 │ ├─→层次化局部建模 2017.07 PointNet ── FPS Ball Query SA/FPCNN 式分层抽象 │ │ ……五年间大量 3D 全监督方法涌现DGCNN / RSCNN / CurveNet … │ ├─→跨模态知识迁移 2022.03 PointCLIP ── 多视角投影桥接 CLIP零样本/少样本 3D 识别本梳理基于工作目录下三篇论文原文及个人笔记整理旨在建立点云理解方法的全景认知框架。