什么是具身模型具身模型是具身智能的核心技术载体泛指一切能接收多模态感知视觉、触觉、语言等经过内部计算后输出物理动作或决策从而在真实或仿真的物理环境中完成任务的模型。它们必须满足三大特征主动感知不是被动识别图片而是根据任务主动观察环境。物理交互输出的是力、关节角度、末端轨迹等能改变世界状态的动作。闭环决策根据行动结果不断调整后续行为形成“感知-行动”循环。在这一框架下VLA 是其中一个耀眼的分支但远非全部。具身模型的三大范式根据“如何获得行为”这一根本问题具身模型可以分为三大范式它们并非互斥现代模型常融合使用。1. 模仿学习与行为克隆直接学习人类或专家演示中“观察 → 动作”的映射。经典方法行为克隆 DAgger数据集聚合但易受分布漂移影响。现代扩散策略如Diffusion Policy将扩散模型用于生成动作序列可表达多模态动作分布对复杂精细操作极为有效。优势训练直观能捕捉人类技巧局限需要专家数据泛化靠数据覆盖。2. 强化学习策略让机器人在环境中试错通过奖励函数最大化长期回报。典型方法PPO、SAC、Dreamer世界模型内训练、TD-MPC2用隐式世界模型做模型预测控制。优势可以自主发现超越人类的新策略能处理极长程任务。局限奖励设计困难样本效率低sim-to-real 迁移是巨大挑战。3. 基于模型的规划与世界模型模型内部学会一个“世界模拟器”预测“如果我这样做环境会怎样变化”然后通过搜索或优化选择最佳动作。端到端世界模型如DreamerV3在学到的潜空间中预测未来状态和奖励直接训练演员-评论家。显式规划用视频生成模型预测未来图像再基于预测图像输出动作如UniPi、SuSIE。优势泛化性强可重用模型做多种任务局限世界模型本身很难学准累积误差是个问题。具身模型的架构光谱从“端到端”到“高度模块化”架构选择决定了能力边界架构类型核心思想代表工作端到端策略像素直接映射到动作单一神经网络Diffusion Policy, 早期 RT-1, GATOVLA 大模型预训练视觉-语言模型 动作头RT-2, Octo, OpenVLA, π0分层模型高层规划语言、状态 低层技能执行SayCan, Code as Policies, LLMP生成式规划先生成未来视频/目标图再提取动作UniPi, SuSIE, RT-Trajectory世界模型驱动学习环境动态模型用于规划或策略优化DreamerV3, TD-MPC2, DayDreamer这些架构并非孰优孰劣而是各有应用场景高精度灵巧操作更适合扩散策略语义理解丰富的长程任务适合 VLA泛化到多变环境适合世界模型。关键挑战与解决思路除了 VLA 中讨论的实时性和数据问题具身模型还面临一些更本质的挑战挑战具体表现解决方向Sim-to-Real 鸿沟仿真训练的策略在真实环境中失效域随机化、系统辨识、在线自适应长程任务的信用分配成功拿杯先要开柜门信号极其稀疏事后经验回放、分层强化学习、自动子目标安全与约束强化学习探索时可能损坏硬件约束马尔可夫决策过程、安全层、李雅普诺夫函数多模态感知融合如何融合视觉、触觉、力觉、声音跨模态 Transformer、隐式对齐、互信息持续学习学新任务时忘掉旧技能弹性权重巩固、知识蒸馏、模型库扩展里程碑工作纵览非 VLA 重点除了 RT-2、Octo 等 VLA 模型具身模型家族还有许多奠基性工作GATO (DeepMind, 2022)一个 Transformer 处理包括游戏、对话、机器人控制在内 600 多种任务开“通用策略”先河。Diffusion Policy (哥伦比亚等, 2023)用扩散模型生成动作展现出令人惊叹的操作稳定性已成为精细操作标配。DreamerV3 (DeepMind, 2023)世界模型之王无需调整超参数就能攻克从 Minecraft 到机器人控制的数十种领域。TD-MPC2 (伯克利, 2024)隐式世界模型 模型预测控制在有限样本下实现强壮的运动和操作。UniPi (MIT, 2023)用文本到视频模型生成未来再用第一帧到动作的小策略执行巧妙利用了视频生成模型的先验知识。SayCan (谷歌, 2022)将大语言模型与机器人技能库结合语言模型负责“说能做什么”强化学习技能负责“实际执行”是分层模型的典范。具身模型的未来走向通用物理智能统一基础模型用一个模型吸收互联网图文、视频、机器人数据、仿真经验像 GPT 做文本那样做“动作”。Open X-Embodiment、DROID 等数据集正为此铺路。世界模型与 VLA 的融合VLA 提供语义理解世界模型提供物理直觉两者结合可进行“内心推演”在行动前预判结果。全身灵巧操作从简单的夹爪到五指灵巧手模型需输出二十多个自由度触觉反馈闭环变得不可或缺。人机共融与安全性机器人必须理解人类意图和社交规范在碰撞前预判并柔和响应具身模型将内化安全约束。从模型到“机器人大脑”产品轻量化、低功耗的具身模型芯片让扫地机器人、人形机器人真正走进千家万户。多模态感知进入模型经过不同范式模仿、强化、世界模型、VLA的处理输出物理动作并指向统一的未来愿景。