论文Pure Vision-Language-Action (VLA) Models: A Comprehensive SurveyLanzhou University / National University of Singapore / Institute of Computing Technology, CASarXiv 2025发布时间2025 年 9 月 23 日arXiv v1作者Dapeng Zhang、Jing Sun、Chenghui Hu、Xiaoyan Wu、Zhenlong Yuan、Rui Zhou、Fei Shen、Qingguo Zhou共 8 人前三人同等贡献Fei Shen 与 Qingguo Zhou 为通讯作者核心一句话这篇综述把纯 VLA 方法从底层模型/机器人操作综述里单拎出来按动作生成范式分成自回归、扩散、强化学习、混合/专用四类系统梳理了 300 篇文献的方法演进、数据基准、仿真平台与硬件并点破语义泛化与物理执行脱节这一核心矛盾。核心关键词VLAVision-Language-Action把视觉、语言、动作统一进一个序列建模框架的具身模型让模型不仅看懂、听懂还能做出来。动作生成范式action-generation strategy本综述的主分类轴——自回归、扩散、强化学习、混合/专用决定了一个 VLA 如何从观测指令产生动作。autoregression-based自回归把动作当 token 一步步往后生成继承 LLM/VLM 的推理与上下文学习能力最主流但受困于延迟与误差累积。diffusion-based扩散把动作生成建模成条件去噪天然支持多模态动作分布轨迹更平滑、几何更扎实但算力贵、时序一致性脆。reinforcement-based强化微调用 RLHF/在线 RL/离线 RL 给 VLM/VLA 注入奖励信号与安全约束弥补纯模仿学习对长尾与安全场景的不足。Open X-EmbodimentOXE21 家机构联合、22 个机器人数据集、527 技能、160266 任务的标准化数据集是当下 VLA 训练的事实基准之一。sim-to-real gap仿真到现实差距仿真数据便宜可控但难还原真实噪声与物理是贯穿数据、评测、落地的结构性难题。带着问题阅读综述反复强调纯 VLA 方法——它和那些把 VLA 混在底层大模型或机器人操作大历史里的综述到底切走了哪一块、为什么要单独切同样是看图听话出动作自回归、扩散、强化学习三类范式各自的代价与回报是什么哪一类更适合高频控制、哪一类更适合长程推理当 VLA 几乎都建在 LLM/VLM 之上懂指令却做不出任务这个现象为何反复出现这是工程问题还是范式问题数据、基准、仿真平台这三件弹药现在的成熟度到了哪一步缺哪一块最致命综述列出的未来方向里世界模型、因果交互、虚实融合、社会嵌入哪一条才是真正决定 VLA 能否走出实验室的关键一、核心导读近两年具身智能领域出现了一个明显趋势把视觉语言模型VLM从被动的内容生成器改造成能看、能懂、能动手的主动智能体。承载这一转变的统一框架就是 Vision-Language-Action 模型——VLA。问题在于VLA 文献增长极快却缺乏共识性分类有的综述把它埋在底层多模态大模型里有的把它摊在整个机器人操作史里新兴的纯 VLA 方法始终没有一个干净的方法学地图。这篇综述要补的就是这块空白。它先把 VLA 的发展切成过去—现在—未来三段背景LLM/VLM 基座 → VLA 整合 → 通用具身智能再把所有 VLA 方法沿着动作怎么生成这一条主轴分成自回归、扩散、强化学习、混合/专用四大类逐一拆解动机、核心策略与代表实现随后补充数据集、基准、仿真平台与硬件这条弹药线最后收敛到挑战与未来方向。如图所示这张组织结构图是全文的导航背景第 2 章打底方法第 3 章是主体资源第 4–6 章支撑训练与评测挑战与展望第 7 章收口。读者可以把这张图当作一张路线图先建立整体印象再按需深入某一范式。本文后续就按这条脉络展开先讲作者想解决的问题再讲它的分类主线然后逐类拆方法接着看数据/仿真/硬件这层支撑最后落到边界与未来。二、问题背景作者到底想解决什么2.1 为什么需要一个纯 VLA的综述机器人学长期依赖预编程指令与工程化控制策略擅长简单重复任务却难以与人和外部环境有效交互。深度学习让机器人能借助图像、文本、点云做特征提取与轨迹预测但这些系统仍是为特定任务设计的孤立智能体。引入 LLM 与 VLM 后研究开始转向用视觉语言生成范式自回归或扩散 大规模数据 微调策略来做操控这批方法被称作 VLA 基座模型。可问题随之而来关于纯 VLA 方法的综述仍然稀缺。已有综述要么聚焦底层 VLM 的分类要么对机器人操作做全景式回顾而偏向传统方法对新兴 VLA 只是走马观花。原因有二其一VLA 方法本身是新生领域尚无成型的方法学版图与共识分类其二已有综述要么按基座模型分类、要么按应用史分类都漏掉了动作生成范式这个真正决定 VLA 形态的轴。作者正是沿着这条被漏掉的轴重新组织文献。2.2 VLA 的来路与去处过去、现在、未来作者用三段时间线把背景讲清。过去——LLM/VLM 基座。单模态建模打下了多模态整合的底子视觉侧从 AlexNet、ResNet 走到 ViT把自注意力引入图像域语言侧 Transformer 催生了 BERT、GPT、T5、GPT-4具备推理、指令遵循与上下文学习强化学习侧从 DQN、PPO 走到 Decision Transformer把控制统一成序列建模。在这之上VLM 成为连接单模态学习与具身智能的桥早期 ViLBERT、VisualBERT 做图文对齐融合CLIP 用对比学习把图文映射到共享空间实现零样本识别BLIP-2、Flamingo、LLaVA 进一步强化开放式跨模态理解与多轮推理。这一段铺垫解释了为什么 VLA 有现成的强基座可用。如图所示不同 VLA 骨架在如何编码图像与指令、如何注入状态、如何生成动作上路径各异这正是后续分类的直观来源。现在——VLA 的整合。研究自然走向 VLA在单一序列建模框架里统一视觉感知、语言理解与可执行控制。典型做法是把图像与指令编码为前缀/上下文 token把机器人状态与传感反馈注入为状态 token再自回归生成动作 token 闭合感知—语言—动作环。相比传统的感知—规划—控制分阶管道VLA 提供端到端跨模态对齐、统一处理目标/约束/意图它继承 VLM 的语义与指令泛化又靠显式状态耦合与动作生成获得对环境扰动与长程任务的鲁棒性。与此同时数据与仿真在背后支撑真实数据采集昂贵、标注费时、长尾稀缺于是研究者同时用网络大规模人类操作视频做泛化监督、用仿真器生成可标注大规模数据。代表性数据集如 OXE21 机构、22 数据集、527 技能、160266 任务与 BridgeData10 环境 71 任务标准化了数据格式仿真器如 THOR、Habitat、MuJoCo、Isaac Gym、CARLA 提供可扩展虚拟环境。未来——走向通用具身智能。VLA 站在视觉、语言、动作交汇的前沿目标是把感知—理解—动作这条缝连起来。尽管在 VLA 交互上已有成绩但它尚未在具身智能领域达到完全通用。通用具身智能主张类人智能不仅依赖认知处理还依赖物理身体、环境感知与反馈机制。为此它可能借助人形机器人、灵巧装配机器人、仿生专用机器人等多种形态落地。综述判断VLA 正朝这一愿景演进潜力可观但挑战可扩展性、泛化、安全、落地依旧悬而未决。三、核心思路用一条主线串起来这篇综述的全部判断可以压成一句话VLA 的本质差异在于动作从哪里来因此应当按动作生成范式来分类而不是按基座模型或应用史来分类。围绕这条主线作者把 VLA 方法划成四大类自回归类autoregression-based动作被当作时序依赖的 token 序列逐步生成。优势是与 LLM/VLM 的序列建模天然兼容、上下文学习与推理能力强代价是逐步解码带来延迟与误差累积。代表Gato、RT-1/RT-2、PaLM-E、OpenVLA、π0.5、FAST、各类 reasoning/trajectory/efficient 变体。扩散类diffusion-based动作生成被建模成条件去噪天然表达多模态动作分布同一观测可对应多条合理轨迹。优势是轨迹平滑、可嵌几何约束、宜做长程规划代价是算力重、动态环境下时序一致性脆。代表Diffusion Policy、SE(3)-DiffusionFields、RDT-1B、π0、Dita、3D Diffuser Actor。强化学习类reinforcement-based以视觉语言为输入、用奖励信号微调策略把 VLM/VLA 从纯监督学习推向会用奖励、会探索、会避险。优势是可注入人类反馈与安全约束、适配长尾与安全场景代价是奖励工程间接且噪声大、训练稳定性受 SFT 与探索相互拉扯、高维真实环境算力贵。代表VIP、LIV、SafeVLA、NaVILA、ConRFT、SimpleVLA-RL、LeVERB。混合与专用类hybrid specialized单一范式不够用时混合架构把扩散的连续轨迹与自回归的离散推理缝在一起如 HybridVLA再向 3D 空间理解、专用领域自动驾驶、人形、GUI、基座级大训练、以及效率/安全/人机协作五个方向延伸。这条分类轴的价值在于它让哪个范式适合哪类任务变得可比较、可决策。比如高频动态抓取天然亲近扩散与高效推理长程语义规划亲近自回归LLM 推理安全关键场景亲近强化微调约束优化。如图所示这棵分类树沿时间线把各范式下的代表作串成分支能直观看到方法创新如何逐步撑大 VLA 能力边界。四、方法展开沿着论文原始逻辑拆解论文第 3 章是全文主体按自回归、扩散、强化、其他高级研究四节展开。本节按同样的逻辑逐类拆解并在每类内提炼作者给出的创新与局限。4.1 自回归类把动作当 token 一步步生成自回归类是 VLA 里最经典也最主流的范式把动作序列视为时序依赖过程依据先前上下文、感知输入与任务提示逐步生成动作。Transformer 架构的成熟让这类方法的可扩展性与鲁棒性得到验证。通用型 VLA。早期 Gato 证明可以把异构模态 tokenize 后联合训练RT-1/RT-2 借大规模真实数据与网络级预训练把自回归 Transformer 变成可落地的统一模型PaLM-E 把预训练语言知识塞进具身控制。为解决具身形态碎片化Octo、LEO、UniAct 把视觉语言模态对齐到通用动作抽象以跨平台兼容近期工作转向推理集成与效率把动作生成与语言推理、自适应提示结合做长程规划OneTwoVLA、CoT-VLA、HAMSTER并用 NORA、RoboMM 这类轻量设计应对部署约束。LLM 推理与语义规划。这条线把 LLM 从被动输入解析器变成 VLA 内的语义中介驱动长程与组合任务的推理。Inner Monologue 引入自言自语式推理闭环动作前规划、动作后反思Hi Robot 用层级规划处理长指令Mobility VLA 把长上下文 VLM 与导航结合CoT-VLA 做视觉思维链Gemini Robotics 把 LLM 当具身管道的中央编排器π0.5 与 FAST 则瞄向开放世界可扩展与高效 token 化。这条线的进步是从语义中介走向交互式与层级规划器、跨模态扩展与一体化平台但幻觉控制、多模态对齐、推理稳定性、实时安全仍是顽疾。轨迹生成与视觉对齐。这条线强化感知—动作映射同时保证视觉语言语义对齐把运动轨迹或控制 token 在多模态观测条件下解码出来。LATTE 最早把语言直接映射到轨迹VIMA、InstructRL 证明语言/视觉/动作联合 tokenize 支持强跨任务泛化但常限于仿真GR-1/GR-2 把视频生成预训练迁移到机器人CronusVLA、WorldVLA 改善时序一致性TraceVLA 引入长程提示方向从短程解码转向预测式环境建模。这类方法还延伸到自动驾驶无 HD 图/激光雷达的闭环轨迹、移动操作、无人机规划以及触觉-语言-动作与 3D/4D 感知。结构优化与高效推理。自回归解码慢、算力重于是催生一大批效率工作层级化分解HiP、动态自适应推理DeeR-VLA 早退、FAST 变长 token 压缩、轻量压缩与并行化BitVLA 1-bit 量化省到 30% 内存、MoLe-VLA MoE 路由跳层省 40%、PD-VLA 并行定点解码、感知重用VLA-Cache 复用 KV、SpatialVLA 体素空间建模。OTTER、ChatVLA 等则把效率与多模态推理缝在一起。作者对自回归类的判断很清晰创新在于用可扩展 Transformer 把多模态感知、语言推理与序贯动作生成统一支撑跨任务泛化、语义规划与长程多模态轨迹生成并用 token 压缩、并行解码、量化提升部署效率局限在于自回归解码带来误差累积与延迟、多模态对齐在噪声/残缺输入下脆弱、放大模型算力与数据需求惊人推理类方法仍有幻觉/稳定性/可解释性顽疾效率机制往往以精度或泛化换速度。下表给出各类下代表性工作节选完整清单见原论文 Table 1。子类代表方法年份关键创新要点通用型 VLAGato (2022)、RT-2 (2023)、PaLM-E (2023)、OpenVLA (2024)、π0.5 (2025)、UniAct (2025)异构 tokenize 统一训练动作 token 网络级 VLM 知识通用原子动作解跨具身问题LLM 推理规划Inner Monologue (2022)、Hi Robot (2025)、CoT-VLA (2025)、Gemini Robotics (2025)自语式推理闭环层级粗到细规划视觉思维链LLM 作中央编排器轨迹生成对齐LATTE (2022)、VIMA (2023)、GR-2 (2024)、OpenDriveVLA (2025)、PointVLA (2025)语言直映轨迹联合 tokenize 零样本泛化视频预训练迁移3D 点云注入高效推理FAST (2025)、DeeR-VLA (2024)、BitVLA (2025)、MoLe-VLA (2025)、VLA-Cache (2025)变长动作 token多出口早退1-bit 量化省内存MoE 跳层省 40%KV 复用4.2 扩散类把动作生成重写成条件去噪扩散含 flow matching、VAE 等把机器人动作生成从确定性回归转向概率式生成策略把动作生成表述为条件去噪天然能建模多样的动作分布让同一观测对应多条合理轨迹。作者从三个维度梳理。通用型 VLA。一条线是引入更扎实的表示结构SE(3)-DiffusionFields 把 SE(3) 约束嵌入扩散在欧氏空间之外联合优化抓取与运动把策略学习重解为视频生成则借视频时序丰富度做长程规划与跨模态落地。RDT-1B 证明轨迹级扩散加时序/环境条件可零样本泛化到双臂操作TUDP 用跨时步统一速度场CDP 靠历史条件缓存逼近实时部署。这一段标志三重转变确定性→概率式生成、欧氏→几何感知表示、监督→自监督。多模态架构融合。Transformer 与扩散结合尤为关键注意力与生成建模互补Dita 等显示把基于注意力的架构从小动作头放大能显著提升连续动作建模。核心难题不在放大架构而在融合异构模态同时保留各自特性——视觉/语言/本体感知在时序粒度、语义、处理需求上各异。M-DiT 用 token 空间对齐把异构信号映到统一表示ForceVLA 把力感知当作一等模态用力感知 MoE 融合触觉Diffusion-VLA 引入自生成推理模块产出符号表示CogACT 借语义场景图统一感知/推理/控制。这一段揭示领域正从单体架构适配转向认知启发的、含结构化推理与多传感输入的设计。应用优化与部署。从实验室走向真实部署要同时拿下效率、适应性、鲁棒性三件事。效率侧TinyVLA、SmolVLA 用预训练骨干LoRA 等参数高效微调把训练成本压到单 GPU 级VQ-VLA 用向量量化动作 tokenizer 缩窄 sim-to-real 缝。任务适应性侧DexVLG 大规模精选数据支撑灵巧操作零样本AC-DiT 用移动性到本体的条件统一感知与驱动。架构创新侧MinD、TriVLA 这类双/三系统设计把认知原则工程化低频视频预测做战略规划高频扩散策略做反应控制36Hz 交互频率。运行时鲁棒性侧BYOVLA 推理时动态编辑无关视觉区域无需微调DreamVLA 做分层错误处理。应用版图也迅速扩张自动驾驶 DriveMoE、人形 DreamGen/EnerVerse、视频中心世界模型 VidBot基座级尝试 FP36 万轨迹预训练的 3D 策略与 GR00T N1人形基座系统。作者对扩散类的判断创新在于把机器人控制重写为生成建模问题支持概率式动作生成、多模态架构融合与认知启发式部署提升轨迹多样性、几何落地与推理集成局限在于动态环境下时序一致性仍脆、大规模扩散模型算力与数据需求惊人、安全关键可靠性欠探索、多模态融合有稀释各模态特长之险、专用适配可能削弱可迁移性。下表节选代表性工作完整清单见原论文 Table 2。子类代表方法年份关键创新要点通用型 VLASE(3)-DiffusionFields (2023)、Diffusion Policy (2024)、RDT-1B (2025)、TUDP (2025)SE(3) 约束嵌入扩散条件扩散超越行为克隆轨迹级时序条件零样本统一速度场多模态架构融合π0 (2024)、Dita (2025)、Diffusion-VLA (2025)、ForceVLA (2025)视频/语言 latent token可扩展扩散 Transformer自生成推理扩散力感知 MoE部署与优化TinyVLA (2025)、SmolVLA (2025)、MinD (2025)、TriVLA (157)、GR00T N1 (2025)LoRA 5% 参数降本消费级硬件部署双系统高低频协同人形基座系统4.3 强化学习类用奖励信号把 VLM/VLA 推向会探索、会避险强化类把视觉语言基座模型与强化学习结合增强感知、推理与决策。它的价值在于相比纯监督学习它能纳入人类反馈、适配新任务、在安全场景上更有优势。作者把它归为强化微调策略并梳理一条演进线。奖励代理与跨模态表示。早期用大规模人类视频/操作数据集RL 奖励策略提升操控技能研究冻结 VLM 通过提示嵌入也能支撑下游策略训练。VIP 推出与动作无关的自监督目标条件价值函数用嵌入距离隐式评估价值LIV 这类方法用语言与图像联合生成奖励代理通过自监督对比训练得到跨模态状态-语言表示强调奖励感知表示的可迁移性适配稀疏奖励或复杂语言指令下的机器人学习。奖励/损失优化与安全。部分方法用语言模型做奖励函数设计的中介、通过人类示范与 VLM 语义映射学奖励代理如 ELEMENTAL。安全视角的代表是 SafeVLA它在 VLA 架构里引入安全评论家网络估风险用 CPO受限策略优化在保证安全损失低于阈值的前提下最大化奖励在多任务操控/导航/搬运测试里显著降低风险事件尤其当模糊语言指令放大策略不确定性时——这是 VLA 真实部署少有的系统化安全机制。四足、人形与自动驾驶的扩展。NaVILA 单阶段 RL 微调 VLA 输出连续控制指令适配复杂地形与动态语言指令MoRE 把多个低秩自适应模块当不同专家塞进密集 MLLM组成稀疏激活混合专家并用 RL 目标训练成 Q 函数LeVERB 提出人形全身控制WBC的层级 VLA 框架把视觉语言处理与动力学级动作处理耦合RL 策略把潜在动词词汇翻译成高频动力学控制命令。离线/在线/混合 RL。离线 RL 在混合质量数据上有效ReinboT 靠最大化累积奖励预测密集奖励理解数据质量分布。在线 RL 也有探索SimpleVLA-RL 仅用单条轨迹二元0/1结果奖励训练 VLA不依赖稠密监督或大规模 BC 数据却达到接近全轨迹 SFT 的性能。ConRFT 取两者之长离线端 BCQ-learning 从有限示范提策略并稳定价值估计在线端引入一致性目标与人工干预机制稳步提升性能、保证安全探索与样本效率。自动驾驶与效率。AutoVLA 用自回归生成模型推理微调产出离散可行动作再重构连续轨迹靠 CoT 推理与 GRPO 两步微调达到 SOTA。效率侧RPD 把 VLA 教师蒸馏给学生提速RLRC 用结构化剪枝SFT/RL 性能恢复量化的压缩框架在保任务成功率的同时降内存、提吞吐。作者对强化类的判断创新在于用视觉语言信号生成稠密可迁移奖励代理、把离线 BC 与在线 RL 结合稳定策略优化、用受限优化减高风险动作并扩展到四足/人形/自动驾驶局限在于奖励工程常间接或噪声大导致学习次优、SFT 与探索相互拉扯影响训练稳定性、高维真实环境算力贵安全策略在模糊/对抗指令下泛化仍是开放问题。下表节选代表工作完整清单见原论文 Table 3。方向代表方法年份关键创新要点奖励代理/表示VIP (2023)、LIV (2023)、GRAPE (2024)视觉预训练生成稠密奖励动作无关视频学跨模态奖励轨迹级对齐建模成败奖励安全与约束SafeVLA (2025)、ELEMENTAL (2025)安全评论家CPO 受限优化VLM 语义映射学奖励代理在线/离线/混合 RLSimpleVLA-RL (2025)、ConRFT (2025)、ReinboT (2025)单轨迹 0/1 奖励在线 RLBCQ-learning一致性混合离线最大化累积奖励四足/人形/驾驶NaVILA (2025)、LeVERB (2025)、AutoVLA (2025)单阶段 RL 连续控制层级 WBC 把动词词汇翻译为高频控制CoTGRPO 微调4.4 其他高级研究当单一范式不够用时当任务复杂到单一生成范式力有不逮研究走向五条延伸线混合架构、多模态融合与空间理解、专用领域适配、基座级大训练、以及面向效率/安全/人机协作的部署。混合架构与多范式集成。代表 HybridVLA 在单 7B 框架里统一扩散连续轨迹与自回归 token 推理扩散负责平滑物理一致的运动自回归保留上下文推理能力。受认知科学双过程理论启发Fast-in-Slow 把低延迟执行模块嵌进慢但认知更丰富的 VLM 骨干RationalVLA 用可学习 latent 嵌入连接视觉语言推理与底层操作策略过滤不可行指令。规模化也有效基于 Transformer 的 Diffusion Policy 显示十亿参数架构能有效结合扩散与注意力。OpenHelix 则走向系统化用大规模实证评测不同的推理-执行集成策略并开源标志混合设计走向成熟与标准化。多模态融合与空间理解。这条线从早期特征拼接转向显式建模几何、可供性与空间约束。CLIPort 把视觉处理拆成what识物与where定位双通道用 CLIP 表示从图文输入生成取放热力图VoxPoser 借 LLM 引导生成可组合 3D 价值图把指令理解拆成目标理解与动作规划3D-VLA 把自回归语言建模与扩散动作预测融进生成式 3D 世界模型ReKep 用关系关键点图建模时空依赖以应对高精度任务RoboPoint 预测可供性图作为下游规划先验BridgeVLA 把 3D 观测投影到多 2D 视图并在统一 2D 热力图空间预测动作。MemoryVLA 则构建工作记忆。这条线清晰呈现从 2D 通路融合到模块化 3D 感知架构的轨迹。专用领域适配。VLA 框架的通用性让它能进到各有特殊挑战的领域。安全关键的自动驾驶里CoVLA 提供首个大规模 VLA 数据集约 5 万条配对语言指令与驾驶轨迹视频。数字空间里ShowUI 用 VLA 管道处理屏幕元素、生成点击/拖拽/填表控制序列GUI-Bench 上表现强。人形全身控制里LeVERB 用两层架构视觉语言策略学潜在动作词汇RL 控制层出低层动力学命令跨 150 任务做鲁棒 sim-to-realHelix 用单一统一策略网络习得从操作到跨机器人协作的多样人形行为。大规模编排里 AutoRT 用观测—推理—执行框架调异构机器人机群。CubeRobot 用双环 VisionCoTMemory Stream 解魔方中低复杂度近乎满分。基座模型与大规模训练。大规模预训练正成为下一代 VLA 的脊梁。DROID 贡献 15 万 轨迹、覆盖 1000 物体与任务场景、含 RGB-D/语言/低维状态/环境标注多模态标注General Flow 用 3D 点轨迹做可迁移可供性表示跨域把技能从人迁到机器人ViSA-Flow 在大规模人-物交互视频的语义动作流上预训练生成模型下游只需极少适配。训练策略上Zhang 等用 2500 次 rollout 分析微调因子动作空间/策略头/监督信号给工程指南Chen 等把 CoT 推理集成进具身策略学习轻量推理带来显著增益且推理快 3 倍。RoboBrain 提出统一具身基座模型覆盖感知/推理/规划。面向效率、安全与人机协作的部署。真实部署要同时管效率、鲁棒性与人机交互。效率侧RTC 边执行边预测下一段动作做高频连续控制EdgeVLA 去掉末端执行器预测的自回归依赖紧凑 LLM 实现 6× 加速DeeR-VLA 动态早退降在线控制成本CEED-VLA 一致性蒸馏早退解码超 4× 加速。知识与安全侧知识绝缘 VLA 用绝缘策略在集成专用模块时防语义退化SAFE 用 VLA 内部特征表示跨任务检测失败、可泛化到未见场景以做主动干预PVEP 评测揭示对抗补丁/排版提示/分布偏移的脆弱性DyWA 联合建模几何/状态/物理/动作应对动态部分可观测。人机协作侧把有限专家干预纳入 VLA 决策减操作员负担并丰富训练数据cVLA 直接在 2D 图像坐标预测轨迹路点以改善 sim-to-real。作者对其他高级研究的判断创新在于混合架构用互补范式同时支撑推理与动作生成、多模态融合做 3D 空间落地、领域适配把 VLA 原理扩到驾驶/人形/GUI、基座级模型用海量多模态数据造更通用智能体、部署导向方法重效率与安全与人机协作局限在于混合系统算力贵且难规模化、多模态融合在噪声/残缺真实输入下仍挣扎、领域专用有过拟合窄语境之险、基座模型算力与数据需求惊人、部署方法在对抗/动态条件下鲁棒性、可解释性、可靠性仍待解。下表节选代表工作完整清单见原论文 Table 4。子线代表方法年份关键创新要点混合架构HybridVLA (2025)、Fast-in-Slow (2025)、OpenHelix (2025)7B 内统一扩散轨迹自回归推理双过程低延迟执行混合设计系统化实证空间理解CLIPort (2021)、3D-VLA (2024)、VoxPoser、ReKep (2024)、MemoryVLA (2025)what/where 双通路热力图生成式 3D 世界模型3D 价值图关键点关系图工作记忆领域适配CoVLA (2024)、ShowUI、Helix (2024)、AutoRT (2024)、CubeRobot (2025)首个大规模驾驶 VLA 数据集GUI VLA统一人形策略异构机群编排双环 VisionCoT基座/大训练DROID (2025)、ViSA-Flow (2025)、RoboBrain (2025)、General Flow15 万轨迹多模态动作流预训练统一具身基座3D 点轨迹可供性迁移部署/效率/安全EdgeVLA (2024)、CEED-VLA (2025)、SafeVLA、DyWA (2025)、cVLA (2025)6× 加速4× 蒸馏加速受限优化避险动态自适应控制2D 路点 sim-to-real五、实验与证据资源底座能支撑到什么程度对一篇综述而言证据不在它自己跑的实验它没有而在它梳理出的数据集、基准、仿真平台与硬件这条资源底座。论文第 4–6 章拼出的就是 VLA 训练与评测的弹药清单。5.1 数据集与基准真实世界与仿真双轨VLA 像其他模仿学习方法一样依赖高质量标注数据分真实世界与仿真两轨。如图所示这些数据集在模态RGB/RGB-D/力/音频/IMU/激光雷达、任务与场景上差异巨大正是 VLA 泛化能力的来源与瓶颈所在。真实世界数据集。高质量真实数据是可靠算法的地基。MIME、RoboNet、MT-Opt 收了大规模示范从简单推物到复杂堆叠且同一任务含多条示范用测试轨迹最小距离做评估指标BridgeData 含 10 环境 71 任务验证联合训练少量未见任务可比单用目标域数据成功率翻倍故被大量当代 VLA 采用RT-1 数据集拓宽真实任务覆盖以提升泛化Bc-z 含未见物体组合任务RH20T 给 147 任务 11 万幕含视觉/力/音频/动作多模态且每幕配人类示范与语言描述特别适合一次性模仿学习与策略迁移。多机跨地域协作让 DROID、AutoRT、UMI 等成为地理与语境最多样的具身数据集OXE 则把 22 个机器人数据集21 机构、527 技能、160266 任务标准化是事实级跨机构基准。评测指标常用成功率完成任务占比辅以语言遵循率并把训练策略迁到未见环境测鲁棒性与泛化。自动驾驶数据集。与具身数据不同它依赖大规模数据训练感知/规划/控制含相机、激光雷达、雷达、高精地图多模态。但多数公开数据是开环、偏正常驾驶难覆盖长尾近年转向合成数据、闭环仿真与安全关键场景策展。评测常用 L2 距离与参考轨迹偏差与完成率。仿真数据集。连续控制任务真机采集贵且需实时反馈仿真成为可规模化监督的机制。具身侧ROBOTURK 用移动设备遥操收 6-DoF 操作iGibson0.5 提交互导航基准与交互导航分数路径效率费力效率VIMA-BENCH 设四级评测协议逐级测泛化CALVIN、Lota-Bench 重长程语言条件任务。驾驶侧闭环仿真正是造安全关键场景的手段UniSim 把单条记录轨迹扩展成多传感闭环仿真用神经特征网格重建静态背景与动态演员支持增删改演员以反映更新场景配置。闭环评测指标含驾驶路线遵循度、违章扣分、任务完成度。作者对数据/基准段的判断创新在于系统性分类、标准化评测指标、OXE 这类跨机构协作推动可复现与泛化局限在于真实数据贵且常限实验室环境、场景多样性不足仿真虽可规模化但难还原真实复杂度与噪声成功率/轨迹偏差等指标难以反映语言落地、长程推理、非结构化安全部署等更细的能力。下表节选代表性数据集完整清单见原论文 Table 5。类别数据集年份传感器幕数任务数真实世界OXE (2025)RGBD1,000,000160,266真实世界MT-Opt (2021)RGB800,00012真实世界RH20T (2024)RGBD110,000147真实世界DROID (2024)RGBD76,000-真实世界BridgeData (2021)RGBD60,10024仿真VIMA 0.5 (2022)RGB600,0001,000仿真RoboCasa (2024)RGBD100,000100仿真LIBERO (2023)RGB5,0001005.2 仿真器与硬件训练场与执行体仿真器。机器人仿真器集物理引擎、传感模型RGB-D/IMU/激光雷达与任务逻辑支持导航、操作、多模态指令跟随用 RL、模仿学习或大预训练模型训具身智能体提供安全可控可复现环境。THOR 是近照片级真实 3D 室内场景部分仿真器基于真实空间而非人工设计环境含数千全尺寸建筑Habitat/Habitat 2.0 把可扩展具身仿真延伸到交互物理场景ALFRED 给长程组合任务且含不可逆状态变化桥接仿真与真实iGibson 1.0/2.0 是真实家庭副本的大规模开源仿真MuJoCo 是被广泛采用的开源物理引擎NVIDIA Isaac Gym 基于 Omniverse 的 GPU 仿真引擎在学界业界流行。自动驾驶侧CARLA、LGSVL 用游戏引擎渲染真实驾驶场景支持灵活传感配置。机器人硬件。机器人物理结构是感知/移动/操作/交互的地基含传感相机/激光雷达/IMU/触觉阵列、执行电机/伺服/液压、电源与控制单元嵌入式处理器/微控器。硬件设计须在性能、能效、重量、耐久间平衡以适配工业自动化、服务机器人、自动驾驶等域。作者把方法、数据、仿真、硬件四层并置背后逻辑很清楚VLA 的天花板不只由模型范式决定还由这条资源底座决定——数据规模与多样性、仿真保真度、硬件算力与实时性任何一环短板都会卡住整体。证据强度上这一层更多是现状盘点而非定量证明对哪类方法在哪些基准上表现如何缺乏横向定量对比这是综述体裁本身的局限。六、这篇工作的边界与可复现性读完这篇综述需要冷静界定它的边界。它的边界。第一它是方法学地图不是定量评测报告文中没有给自回归 vs 扩散 vs 强化在统一基准上的横向数字对比所有优劣判断都是定性论述如扩散时序一致性脆、自回归误差累积读者无法据此直接选型。第二分类有交叉不少方法横跨多类如 π0 既属扩散又含自回归式 token、TUDP 在 Table 1 与 Table 2 均出现四分类是主范式视角而非互斥划分。第三覆盖虽广但偏近期300 文献里 2025 年占了绝大多数反映领域热度但也意味着不少工作是单篇预印本、尚未经同行验证与复现。第四纯 VLA的边界本身有取舍——它剔除了纯 VLM 与传统机器人操作但也可能因此漏掉对 VLA 有深远影响的基座侧进展。可复现性。作为综述它本身不涉及复现但它指向的方法可复现性参差。可复现性较好的是那些开放权重与代码的代表作OpenVLA 7B 开源、Octo 开源、RDT-1B、Diffusion Policy、TinyVLA/SmolVLA 这类主打低门槛部署的工作以及有标准化数据入口的 OXE、DROID、LIBERO、BridgeData。可复现性较差的是闭源系统型工作Gemini Robotics、Helix和需要特殊硬件/机群的基座级尝试GR00T N1、FP3、π0.5。综述在这一点上没有给读者明确的可复现性评级需要读者自行从原论文判断。一个结构性提醒。综述反复回到一个判断当前 VLA 大多建立在 LLM/VLM 迁移之上这些模型擅长语义理解与跨模态对齐却缺乏与物理世界直接交互的训练与经验于是常出现懂指令却做不出任务。这不是某个范式的局部 bug而是语义级泛化与具身物理能力脱节的范式级矛盾——后文第七节正是围绕它展开。七、如果继续研究/落地应该关注什么论文第 7 章把挑战与机会并列给出本节按作者的逻辑提炼并补一句判断。挑战。数据稀缺交互数据决定性能但真实大规模示范受硬件成本/效率/安全制约OXE 等仍偏桌面操作与抓取多样性不足仿真如 RLBench虽便宜但受渲染保真、物理精度、任务建模所限sim-to-real 缝仍在。架构异构不同工作用不同骨干视觉 ViT/DINOv2/SigLIP、语言 PaLM/LLaMA/Qwen、动作头离散 token/连续向量/扩散阻碍比较与复用、拖慢统一标准感知/推理/控制内部松耦合导致特征空间碎片化、跨平台可移植性弱。实时推理与成本自回归解码每 token 依赖前一个、延迟累积高频任务要毫秒响应高维视觉输入与巨参模型算力内存远超嵌入式平台量化/压缩/边云协同仍难同时保精度、实时、低成本部署陷于要么太慢要么太贵。人机交互的伪交互系统靠先验或静态训练模式生成动作而非基于环境动力学与因果推理的真正交互遇陌生设定就退回统计共现而非探测环境、用传感反馈修正暴露因果建模与反馈利用的短板。评测与基准局限现有基准多在实验室或结构化仿真里、偏桌面与抓取测窄分布而非开放世界泛化/鲁棒性一到户外/工业/复杂家居性能骤降缺统一权威多样基准成瓶颈。更根本的是VLA 能否真正可控、可信、安全是比性能与泛化更深的问题需要系统性范式转变。机会。世界建模与跨模态统一当下语言/视觉/动作仍松耦合把环境建模、推理与交互统一进单 token 流让 VLA 演化成准世界模型、闭合语义到物理的环是迈向 AGI 的关键一步。因果推理与真正交互若未来 VLA 能纳入因果建模与交互推理让机器人学会探测、验证、适应就能跨过伪交互从数据驱动智能走向深度交互智能。虚实融合与大规模数据生成若能融合高保真仿真、合成数据生成、多机共享造出含万亿轨迹的数据生态可能像 GPT 借网络级语料触发语言智能飞跃那样触发具身泛化飞跃。社会嵌入与可信生态VLA 进公共与家庭空间后安全、可信、伦理对齐决定其采纳建立风险评估/可解释/问责的标准框架把 VLA 从实验室造物变成可信伙伴重塑医疗/工业/教育/服务。作者的潜台词是性能优化只是表层真正决定 VLA 能否走出实验室的是语义—物理这条缝能否被世界模型与因果交互真正缝合以及能否被社会以可信方式接纳。落到工程优先级大致是先解决数据规模与多样性含虚实融合这一最致命短板再用高效推理把部署成本与延迟压到嵌入式可承受同时用安全约束与评测基准守住可控可信的底线。八、术语与概念速查术语在本文/综述中的含义与作用VLA foundation model用视觉语言生成范式自回归/扩散 大规模数据 微调训练出的具身基座模型VLA 的统称action-generation strategy综述的主分类轴按动作如何生成把 VLA 分成自回归/扩散/强化/混合四类tokenization of actions把连续动作离散成 token 以纳入自回归序列建模是自回归类的根基action chunking一次预测一段动作序列而非单步缓解自回归延迟FAST、RTC 等均用此思想flow matching扩散类的变体与 VAE 等并列把动作生成表述为概率流归属扩散大类denoising policy把动作生成建模成条件去噪的扩散策略Diffusion Policy 的核心形式RLHF / GRPO用人类反馈或组相对策略优化做强化微调给 VLM/VLA 注入奖励与对齐CPOConstrained Policy Optimization受限策略优化SafeVLA 用它在保安全损失阈值下最大化奖励sim-to-real gap仿真训练策略迁到真实机器人的性能落差贯穿数据、评测、落地affordance可供性——环境中可交互区域的先验RoboPoint 等预测可供性图辅助规划dual-process / System 1 2借鉴认知科学双系统理论用低频规划高频反应做层级控制Fast-in-Slow、MinD、TriVLAworld model让模型预测环境未来状态、闭合语义到物理的环被列为 VLA 的关键未来方向OXEOpen X-Embodiment21 机构 22 数据集的标准化跨机构具身数据集VLA 训练事实基准success rate / language following rate具身任务常用评测指标任务完成占比 / 语言指令遵循占比L2 distance / completion rate自动驾驶 VLA 常用评测指标与参考轨迹偏差 / 任务完成占比九、拓展思考值得继续扩展研究与思考的创新点把这篇综述读完有几条值得继续追问的线。第一动作生成范式这条分类轴是否会被新一代架构消解综述的四分类基于动作从哪来。但若世界模型路线成熟——模型直接预测环境未来状态并在其中规划动作——“自回归 token / 扩散去噪 / 强化奖励可能退化为同一世界模型内部的可替换模块而非互斥范式。届时分类轴或许该从动作生成方式转向世界建模程度与因果交互能力”。第二安全机制目前是点缀还是结构综述里真正系统化做安全的只有 SafeVLA 一条线CPO安全评论家其余多是零散的对抗鲁棒评测与运行时干预。若 VLA 要进家庭与公共空间安全需要从某个方法的附加模块升级为评测基准与训练目标的硬约束——这恰恰是综述自己也承认的安全关键可靠性欠探索的空白也是落地最难也最值得投的方向。第三数据飞轮与具身规模化的临界点在哪综述把万亿轨迹数据生态列为机会类比 GPT 借网络语料起飞。但具身数据与文本语料有本质差异它强依赖物理体、长尾场景难合成、且 sim-to-real 缝难消。临界点更可能来自虚实融合 多机共享 仿真保真度突破的合力而非单纯堆数据量——这条值得专门追踪。第四可复现性与基准统一是隐形的卡脖子。综述列出 5 张表、上百方法但缺一个能让自回归 vs 扩散 vs 强化在同一套任务/机器人/指标上公平对齐的统一基准。OXE/DROID/LIBERO 各有侧重但方法间横向比较仍难。谁先把这套统一评测搭起来谁就握住了领域的话语权。第五伪交互诊断指向的可能是更深的评估革命。综述指出当前 VLA 靠统计共现而非因果探测生成动作。这意味着现有成功率指标可能高估了理解——模型可能在拟合训练分布的表层相关而非因果结构。未来需要一类能区分真正因果交互与统计拟合的评测协议这比再多几个桌面基准更关键。综上这篇综述最大的价值不在给出结论而在画出一张干净的方法学地图让纯 VLA第一次有了可比较的分类轴它最该被记住的判断是那条语义泛化与物理执行脱节的范式级矛盾——VLA 能走多远最终取决于这条缝被缝合得多深。第五伪交互诊断指向的可能是更深的评估革命。综述指出当前 VLA 靠统计共现而非因果探测生成动作。这意味着现有成功率指标可能高估了理解——模型可能在拟合训练分布的表层相关而非因果结构。未来需要一类能区分真正因果交互与统计拟合的评测协议这比再多几个桌面基准更关键。综上这篇综述最大的价值不在给出结论而在画出一张干净的方法学地图让纯 VLA第一次有了可比较的分类轴它最该被记住的判断是那条语义泛化与物理执行脱节的范式级矛盾——VLA 能走多远最终取决于这条缝被缝合得多深。