文章目录一、前言二、VGGT-Ω核心贡献与主要内容1. 研究背景与动机2. 三大架构改进3. 数据规模与训练策略4. 规模化实验结果5. 性能表现6. 寄存器token的跨任务应用总结通俗解释它到底在做什么为什么需要升级VGGT 的问题VGGT-Ω 的三个神操作1. 小秘书机制Register Attention2. 把大卡车换成小摩托轻量化解码头3. 一个头干多个活单头多任务数据量爆炸从做题家到题海战士效果有多强一句话总结三、架构图2VGGT-Ω 模型的整体架构1. 总体目的2. 架构流程与关键模块拆解2.1. 输入处理与特征提取 (Input Processing Feature Extraction)2.2. Token 拼接与场景表示 (Token Concatenation Scene Representation)2.3. 核心处理模块交替注意力 (Alternating Attention)2.4. 解码头 (Decoding Heads)2.5. 训练损失 (Training Only Losses)3. 关键信息与设计动机一、前言仅供参考未经实验验证。二、VGGT-Ω论文标题VGGT-Ω作者Jianyuan Wang, Johannes Schönberger, Minghao Chen, Patrick Labatut, Shangzhan Zhang, Piotr Bojanowski, Andrea Vedaldi, Christian Rupprecht, Nikita Karaev, David Novotny机构Visual Geometry Group, University of Oxford牛津大学视觉几何组、Meta AI发表时间2026年5月14日论文地址https://arxiv.org/pdf/2605.15195Github地址https://github.com/facebookresearch/vggt-omega项目主页https://vggt-omega.github.io/核心贡献与主要内容1. 研究背景与动机VGGT-Ω是VGGT的升级版本旨在探索前馈式3D重建模型feed-forward reconstruction models的规模化潜力。论文发现与基础模型领域如LLM相比3D计算机视觉中模型规模化的作用尚未被充分探索。因此作者提出了VGGT-Ω在模型规模和数据规模上都显著超越了前代工作。2. 三大架构改进改进一Register Attention寄存器注意力在部分全局注意力层中将跨帧信息交换限制在**寄存器tokenregister tokens**之间这些寄存器token每帧16个外加1个相机token负责聚合全局场景信息用寄存器注意力替换25%的全局注意力层不降低性能同时节省约23%的FLOPs和16%的显存寄存器token本身蕴含丰富的全局信息可用于下游任务如VLA模型、语言对齐改进二轻量级解码器原VGGT使用DPTDense Prediction Transformer头其高分辨率卷积层消耗大量显存VGGT-Ω将1/4分辨率以上的卷积块替换为MLP Pixel Shuffle上采样操作显存占用大幅减少且性能无损改进三单一密集预测头不再使用多个独立的密集预测头深度、点云、跟踪特征等仅保留一个深度预测密集头和一个相机参数稀疏头通过多任务损失同时监督深度、点云和跟踪特征简化架构综合效果以上三项改进使训练时的GPU显存占用降至VGGT的约30%。3. 数据规模与训练策略高质量数据标注管道开发了支持刚体和动态场景的自动化标注流程集成VLM预过滤、VGGT、COLMAP、现代图像匹配模型和几何后过滤应用于约4000万内部互联网风格视频筛选出80万条高质量序列其中约1/3包含动态内容结合现有数据集总计400万场景/序列是前代工作的15倍以上自监督学习协议受DINO和动量教师-学生方法启发维护教师模型和学生模型处理相同输入序列的不同增强和帧排列学生模型学习匹配教师模型的预测和特征分布利用1800万未标注视频进行训练进一步提升泛化能力4. 规模化实验结果论文展示了清晰的**幂律缩放power-law scaling**特性模型规模从0.2B到10B参数3D点误差持续下降数据规模从2K到200万序列性能持续提升5. 性能表现VGGT-Ω在静态和动态场景的多个基准测试上取得SOTA基准测试指标提升幅度Sintel相机估计AUC3°40.0 vs 22.577%Sintel相机估计AUC30°79.1 vs 58.335%Sintel深度估计δ1.2593.5 vs 74.126%速度对比vs MegaSaM快50倍此外VGGT-Ω在动态场景重建上也显著优于MegaSaM、Depth Anything 3等近期方法。6. 寄存器token的跨任务应用论文发现VGGT-Ω学习到的寄存器token不仅是重建的副产品还可以提升视觉-语言-动作VLA模型的性能支持与语言对齐表明重建可以作为空间理解的强大且可扩展的代理任务总结VGGT-Ω是牛津大学VGG组和Meta AI联合推出的前馈式3D重建基础模型通过寄存器注意力、轻量级解码器和单一预测头等架构创新将训练显存降低70%同时利用400万标注数据和1800万未标注视频进行规模化训练。该模型在静态与动态场景重建上均达到SOTA并展示了清晰的幂律缩放特性证明了3D重建作为空间理解基础任务的巨大潜力。通俗解释VGGT-Ω 可以理解为“AI 摄影师的升级版”。它到底在做什么想象你出去旅游拍了一堆照片传统做法是把这些照片导入某个软件软件要算很久才能告诉你“这些照片是在哪里拍的、场景长什么样、哪里远哪里近”。VGGT-Ω 就像一个看一眼照片就能立刻说出答案的超级摄影师——输入几张照片它直接输出每张照片的相机位置和角度场景的深度图哪里远、哪里近整个场景的三维结构而且它不只能处理静物还能处理动态场景比如人在跳舞、车在行驶。为什么需要升级VGGT 的问题之前的 VGGT 虽然已经很厉害但有三个痛点太吃显存训练这个模型需要巨大的 GPU 内存就像一辆耗油量巨大的卡车。数据不够多它见过的场景不够多遇到复杂情况容易懵。不太会处理动态场景对视频里移动的东西效果不好。VGGT-Ω 的三个神操作1. 小秘书机制Register Attention想象每张照片都配了一个小秘书。以前的做法是照片里每个像素都要和其他照片的所有像素打电话交流信息几十张照片、每个照片几十万个像素这个电话费计算量贵得惊人。VGGT-Ω 的做法是只有小秘书们互相打电话。每张照片的小秘书先把自己照片里的关键信息汇总好然后小秘书之间互相交流再把结论带回去告诉各自照片里的像素。好处电话费省了 70%训练显存大幅降低这些小秘书慢慢变成了场景通脑子里装着整个场景的全局信息这些小秘书学到的东西还能用在其他任务上比如让机器人理解语言指令2. 把大卡车换成小摩托轻量化解码头以前生成深度图时模型里有一些高分辨率卷积层就像用一辆重型大卡车去送一封快递——虽然送到了但太费油太占显存。VGGT-Ω 把这些大卡车换成了更轻量的结构MLP Pixel Shuffle就像换成电动自行车送的东西一样但省油多了。3. 一个头干多个活单头多任务以前模型做不同任务测深度、建点云、做跟踪要用不同的专家头就像工厂里不同工序要不同的机器。VGGT-Ω 发现其实一个深度头 一个相机头就够了只要在训练时设计巧妙的作业批改标准损失函数这一个头就能同时学会多种本领。这样既省地方又高效。数据量爆炸从做题家到题海战士VGGT-Ω 最狠的一点是数据规模之前模型大概用几十万张带标注的照片训练VGGT-Ω 用了400 万张带标注的场景其中约三分之一是动态场景人在动、车在跑另外还用了1800 万段无标签视频做自监督学习——就像学生不仅做老师布置的题还自己找题做、自己对答案结果就是模型见过的世面多了泛化能力极强不管是室内、室外、天空、水下珊瑚礁还是网球运动员的连续动作都能重建得很好。效果有多强用数字说话在 Sintel 基准测试上指标之前最好的方法VGGT-Ω提升相机位置估计精度22.540.077%深度估计精度74.193.526%速度——比 MegaSaM 快 50 倍简单说看得更准、跑得更快、还能处理动态画面。一句话总结VGGT-Ω 通过小秘书传话Register Attention大幅节省计算成本通过换轻量交通工具降低内存占用再通过题海战术400万标注1800万无标签视频让模型见识大增最终打造出一个又快又准、静动态通吃的 AI 三维重建大师。三、架构图2VGGT-Ω 模型的整体架构Figure 2 详细展示了 VGGT-Ω 模型的整体架构其核心目的是将输入的图像序列转化为场景的 3D 几何信息包括相机参数和深度图。该架构在 VGGT 的基础上进行了多项改进旨在提高重建精度、效率并支持静态和动态场景的重建。下面将按照从左到右、从上到下的流程分步详细解释每个关键模块及其功能1. 总体目的VGGT-Ω 的架构旨在通过一个端到端的 Transformer 模型从一系列输入图像中直接预测出场景的相机姿态位置和方向和深度图。该模型通过引入寄存器注意力 (Register Attention)、简化预测头以及优化的训练策略显著提升了效率和性能同时能够处理动态场景。2. 架构流程与关键模块拆解2.1. 输入处理与特征提取 (Input Processing Feature Extraction)Input Frames (输入帧)模型接收一系列图像帧作为输入。这些图像构成了要进行 3D 重建的视频序列。DINO (DINOv3-initialized vision transformer)每个输入图像首先被送入一个预训练的DINOv3 视觉 Transformer模型进行特征提取和分词 (tokenization)。这一步将原始图像数据转换为一系列图像 token (Image Tokens)。这些 token 编码了图像的局部视觉信息。设计原理使用 DINOv3 预训练模型作为骨干网络可以利用其强大的自监督学习能力提取高质量的视觉特征从而提升模型的泛化能力和效率。2.2. Token 拼接与场景表示 (Token Concatenation Scene Representation)在 DINO 提取的图像 token 之后VGGT-Ω 引入了两种特殊类型的 tokenCamera Token (相机 token)每个图像序列会附加一个可学习的相机 token (z c a m ∈ R 1 × C ′ z_{cam} \in \mathbb{R}^{1 \times C}zcam​∈R1×C′) 到对应的图像 token 集合中。作用这个 token 专门用于预测该图像帧的相机参数。Scene Tokens (Registers) (场景 token/寄存器)每个图像序列会附加一组可学习的寄存器 (z s c e n e ∈ R 16 × C ′ z_{scene} \in \mathbb{R}^{16 \times C}zscene​∈R16×C′) 到对应的图像 token 集合中。论文中提到通常使用 16 个寄存器。作用这些寄存器用于聚合整个场景的全局信息并作为跨帧信息交换的“瓶颈”。设计原理受 ViT 中少数 token 携带全局信息的启发寄存器被设计为更直接、高效地捕获全局场景信息。它们充当“场景”token使得模型能够更好地理解和表示整个场景的宏观结构。最终对于每张图像I i I_iIi​其 token 集合z i z_izi​由图像 token、一个相机 token 和一组场景寄存器拼接而成z i ( z I , z c a m , z s c e n e ) z_i (z_I, z_{cam}, z_{scene})zi​(zI​,zcam​,zscene​)。2.3. 核心处理模块交替注意力 (Alternating Attention)拼接后的 token 集合会经过L LL层 Transformer 块进行处理这些块交替使用两种注意力机制Global Attention (全局注意力)传统 VGGT 的机制在原始 VGGT 中全局注意力允许所有 token包括来自不同帧的图像 token之间进行全面的自注意力计算从而实现多帧信息交互。特点计算成本高昂因为其复杂度与 token 数量的平方成正比。Register Attention (寄存器注意力)VGGT-Ω 的创新为了提高效率VGGT-Ω 用寄存器注意力替换了部分例如 25%的全局注意力层。工作机制在这种机制中自注意力计算被限制在所有帧的寄存器之间。图像 token 不直接参与跨帧的注意力计算而是只与当前帧内的图像 token 和更新后的寄存器进行交互。设计原理效率提升通过限制跨帧信息交换到一小组寄存器大大减少了计算量从而节省了 GPU 内存和训练时间。信息聚合寄存器充当了全局场景信息的紧凑表示和交换中心。它们从各帧的图像 token 中聚合信息并在随后的帧内注意力块中将这些聚合的场景信息重新分配给图像 token。这鼓励寄存器携带整个场景的全局信息。性能权衡论文指出用 25% 的寄存器注意力替换全局注意力层性能几乎没有下降但内存和 FLOPs 显著减少。2.4. 解码头 (Decoding Heads)经过L LL层注意力处理后的最终 token 集合z ′ zz′会被送入不同的解码头生成最终的 3D 重建结果Cameras (相机)功能一个轻量级的 Transformer 模块作用于相机 token 和寄存器然后通过一个 MLP 预测相机参数。输出对于每帧图像I i I_iIi​预测旋转四元数q i ∈ R 4 q_i \in \mathbb{R}^4qi​∈R4、平移向量t i ∈ R 3 t_i \in \mathbb{R}^3ti​∈R3和视场角f i ∈ R 2 f_i \in \mathbb{R}^2fi​∈R2共同构成相机参数g i ( q i , t i , f i ) g_i (q_i, t_i, f_i)gi​(qi​,ti​,fi​)。设计原理与原始 VGGT 不同VGGT-Ω 的相机头在单次传递中预测所有相机参数无需迭代优化简化了流程。Depth Maps (深度图)功能图像 token 经过一个轻量级的上采样头解码该头部使用一个 MLP 后跟一个pixel-shuffle 运算符。输出为每帧图像I i I_iIi​生成一个深度图D i ∈ R H × W D_i \in \mathbb{R}^{H \times W}Di​∈RH×W。设计原理为了减少 GPU 内存消耗VGGT-Ω 移除了原始 VGGT 中内存密集型的高分辨率卷积层取而代之的是更高效的 MLP 和 pixel-shuffle 组合。输出包括深度和置信度两个通道。2.5. 训练损失 (Training Only Losses)在训练阶段模型通过多种损失函数进行监督尽管模型不直接预测点图和跟踪特征但仍通过相应的损失对其进行监督Matching Loss (匹配损失)目的应用于最后一层注意力输出的 token用于拉近正向 token 对对应相同 3D 位置的特征并推开负向 token 对的特征。工作机制通过构建正负 token 对并计算它们之间的余弦相似度来优化。这有助于模型学习几何一致的特征表示。设计原理帮助模型区分相同 3D 点的特征和不同 3D 点的特征从而学习更好的几何对应关系。Point Loss (点损失)目的通过将深度图和相机参数反投影到 3D 空间并与真实点图进行比较来评估 3D 点的准确性。工作机制使用L 1 L_1L1​目标函数比较预测点e i π − 1 ( D i , g ^ i ) e_i \pi^{-1}(D_i, \hat{g}_i)ei​π−1(Di​,g^​i​)与真实点P i P_iPi​之间的残差。设计原理直接监督 3D 点的几何精度确保重建的 3D 结构尽可能准确。此外还有Camera Loss (L c a m L_{cam}Lcam​)使用L 1 L_1L1​目标函数比较预测相机参数g ^ i \hat{g}_ig^​i​与真实相机参数g i g_igi​。Depth Loss (L d e p t h L_{depth}Ldepth​)考虑了不确定性和梯度一致性并结合相对尺度来优化深度图预测。3. 关键信息与设计动机可伸缩性 (Scalability)VGGT-Ω 的设计旨在支持更大规模的数据和模型尺寸训练。图 1 展示了模型和数据规模的扩大如何持续提升重建精度。处理动态场景 (Dynamic Scenes)通过引入高品质的数据标注管线和自监督学习协议VGGT-Ω 能够有效处理动态视频内容这对于解锁海量互联网视频进行训练至关重要。自监督学习 (Self-supervised Learning)引入了受 DINO 启发的教师-学生自监督学习协议利用大量未标注视频数据进行训练以进一步提高模型的泛化能力和对外观变化和帧顺序的不变性。寄存器的多功能性 (Versatile Registers)论文不仅展示了寄存器在 3D 重建中的效率优势还证明了它们可以作为几何感知表示用于改进视觉-语言-动作 (VLA) 模型和支持语言对齐表明重建可以作为空间理解的强大代理任务。效率优先 (Prioritizing Efficiency)通过引入寄存器注意力、简化解码头和优化训练流程VGGT-Ω 在大幅提升性能的同时显著降低了训练所需的 GPU 内存比前代 VGGT 少约 70%和推理速度。