基于时间粒度对齐、动作空间解耦与训练测试一致性的世界动作模型新框架来源AMAP CV Lab, Alibaba Group | arXiv:2607.00678v1**移动操作Mobile Manipulation**被普遍认为是通用机器人所需的关键能力之一。该能力要求机器人在复杂环境中既能够完成导航移动又能够执行精细的物体操作并在长时程任务中保持上下文一致性与动作连贯性。然而现有的具身智能学习方法在处理这一问题时仍面临显著挑战。传统的视觉-语言-动作VLA策略通常属于反应式范式缺乏显式的世界建模能力而现有的世界动作模型World Action Models, WAMs在结构设计上尚未充分适配移动操作的需求往往基于粗粒度的视频片段进行建模将导航与操作动作耦合在一起并在训练过程中使用与自回归推理不一致的监督信号。针对上述问题阿里巴巴AMAP CV Lab研究团队提出了ABot-M0.5。该模型建立在三项核心洞察之上移动操作需要在时间粒度、动作空间与训练测试一致性三个层面实现对齐。通过引入帧级潜在动作Intermediate Latent Actions作为视频隐变量与机器人控制之间的桥梁采用双层混合TransformerDual-Level Mixture-of-Transformers对异构动作子空间进行解耦并提出了Dream-Forcing训练策略以逐步在模型自生成的视频上训练逆动力学模型ABot-M0.5在多项具有挑战性的移动操作与精细操作基准测试中取得了领先性能。一、移动操作中的三重结构性瓶颈在现有的世界动作模型框架中移动操作并非简单被视作静态操作的时长延伸。由于机器人需要在移动过程中持续与环境发生交互其世界演化、动作生成与部署推理之间存在着更为严格的结构要求。研究团队通过系统分析识别出限制现有WAMs在移动操作场景中性能的三个核心瓶颈时间粒度失配现有WAMs通常对时间压缩后的视频片段进行建模而机器人控制需要在每一帧或每一个控制步上生成动作。粗粒度的世界建模容易平滑掉关键的局部动态如接触起始、抓取闭合、对齐修正等。动作结构失配移动操作引入了异构动作空间底盘移动通常是低频、平滑且面向全局的而手臂操作则是高频、局部且接触密集的。将二者纳入单一耦合的动作空间进行优化会导致梯度干扰与特化困难。训练条件失配训练时逆动力学模型通常以真实的未来观测为条件而在推理时模型只能依赖自身生成的未来视频其中包含噪声、模糊与物体漂移等误差。这种分布差异在长时程任务中会不断累积。上述三重瓶颈揭示了一个共同模式现有方法在结构上未能与移动操作的本质需求充分对齐。ABot-M0.5的设计正是围绕这一观察展开通过系统性的架构创新与训练策略调整实现世界建模、动作抽象与部署时行为在统一框架内的协同一致。二、模型架构三层级联与双重解耦ABot-M0.5基于Wan2.2视频扩散骨干网络构建是一个联合建模未来视频隐变量、帧级潜在动作与可执行机器人动作的统一生成式框架。在感知阶段三维变分自编码器3D VAE将多视角视觉观测压缩为时空视频隐变量文本编码器将语言指令编码为条件特征。模型的生成过程遵循一个结构化的三级级联**级联流程**Context → 世界建模zt1→ 动作抽象mt→ 控制解码at其中zt1表示未来视频隐变量mt表示帧级潜在动作at表示可执行动作。该分解将直接的视频到动作映射转化为视频到潜在动作、再到动作的分层管道使模型能够从粗粒度视觉动态中恢复运动意图并将其转化为具体的底层控制信号。图1ABot-M0.5整体概览。上图展示了三阶段训练流程Pretrain、SFT1、SFT2左侧与中间展示了时间对齐与动作空间对齐的设计右侧展示了在仿真基准与真实机器人上的领先性能。2.1 中间潜在动作弥合时间粒度鸿沟为了弥合粗粒度视频预测与细粒度控制之间的时间粒度鸿沟ABot-M0.5引入了帧级潜在动作作为中间表示。这一设计的核心优势在于潜在动作仅依赖于视觉状态转移因此可以从大规模无动作标注的视频数据中提取而不需要特定的机器人运动学标签。具体而言给定相邻帧It, It1模型使用预训练的潜在动作编码器Em提取局部运动表示mt Em(It, It1) ∈ ℝdm在多相机设置中每个视角的潜在动作被组织为统一的时空张量。这种表示使得相似的物理交互如抓取物体在不同机器人形态下映射到潜在动作空间中的邻近区域从而支持跨具身平台的物理先验迁移。潜在动作的生成采用条件流匹配Conditional Flow Matching, CFM进行优化通过迭代去噪合成高保真度的潜在动作捕获细粒度、与具身无关的运动意图。2.2 双层混合Transformer异构动作空间的结构化解耦移动操作中的动作向量天然包含移动与操作两个维度它们在时间频率与物理损失景观上表现出显著差异。为了对这一异构性进行结构化建模ABot-M0.5提出了双层混合TransformerDual-Level Mixture-of-Transformers, D-MoT在两个层级上实现解耦**模态级解耦**模型并行处理三个令牌流——视频隐变量Xz、潜在动作Xm与可执行动作Xa。尽管这些流共享Transformer主干以进行跨模态推理但每个模态配备独立的输入投影、时间步嵌入与输出头确保世界动态、运动意图与硬件控制维持独立的表征空间。**动作级解耦**在可执行动作流内部动作向量被显式分解为操作动作atmanip与移动动作atmove两个子空间。模型通过严格的通道到子塔分配机制为每个子塔配备独立的前馈网络FFN与预测头使底盘移动与手臂操作在优化过程中拥有独立的学习动态。为了在不牺牲跨子空间协调性的前提下实现特化D-MoT采用联合自注意力机制在每一层潜在动作、移动动作与操作动作令牌在统一注意力计算中交互但随后的FFN变换保持分支独立。这种设计既支持基础移动与抓取操作之间的结构化协作又避免了梯度干扰。图2ABot-M0.5整体架构。模型通过结构化、非对称的级联设计联合预测未来视频隐变量、帧级潜在动作与可执行动作采用双层MoT实现模态与动作空间的解耦。图3双层混合TransformerD-MoT详细结构。架构在模态级别与动作级别实现解耦同时通过共享注意力保留协调推理能力。2.3 Dream Forcing实现训练与推理的条件对齐现有世界动作模型的训练范式主要分为两类教师强制Teacher Forcing与扩散强制Diffusion Forcing。在教师强制中动作模型以真实的未来视频为条件进行训练而推理时只能使用模型自身生成的、带有误差的未来视频存在严重的暴露偏差。扩散强制虽然通过联合去噪部分缓解了这一问题但训练时视频与动作令牌可能处于多样且独立采样的噪声时间步与推理时特定的去噪轨迹难以完全匹配仍存在分布差异。为此ABot-M0.5提出了Dream Forcing训练范式。该策略不再以真实未来视频或任意加噪视频为条件而是使用模型自身生成的未来视频即自梦境视频来训练动作预测器。这一设计使动作模型在训练阶段就暴露于与推理时相同类型的不完美视觉状态从而学习在模型自身预测误差下的鲁棒动作生成。具体实现上Dream Forcing采用两阶段前向策略阶段A并行推出模型执行标准前向传播通过少量步去噪生成所需的梦境隐变量ẑt1, m̂t。由于闭环机器人设置中历史片段持续由真实观测 grounding仅需生成最新的未来片段因此可采用并行生成策略提升训练效率。阶段BDream Forcing模型执行第二次前向传播以阶段A生成的梦境隐变量为条件预测动作。此时动作预测分布从pa(·|z≤t1, m≤t, …)转变为pa(·|ẑt1, z≤t, m̂t, mt, …)仅将未来条件替换为自生成版本从而消除训练与测试之间的分布鸿沟。图4世界动作模型的三种训练范式对比。a教师强制以真实未来视频为条件b扩散强制联合去噪但时间步组合难以复现cDream Forcing以自生成梦境视频为条件实现训练与推理的严格对齐。图5Dream Forcing的两阶段训练策略示意图。阶段A执行标准前向传播生成梦境隐变量阶段B以梦境隐变量为条件执行第二次前向传播预测动作。三、渐进式训练范式为了充分发挥ABot-M0.5的表征与生成潜力研究团队设计了一套渐进式训练流程从大规模世界建模逐步过渡到与推理一致的动作学习。整个流程分为四个关键环节世界模型预训练、潜在动作模型预训练、渐进式监督微调以及系统级效率优化。3.1 预训练数据与视觉世界模型预训练语料整合了OXE、OXE-AugE、Agibot-Beta、RoboCOIN、RoboMind、Galaxea、InternData-A1等大规模公开机器人数据集涵盖多样化的具身平台、场景结构与操作动态。其中Galaxea数据集特别包含了丰富的底盘移动任务为移动操作提供了协调一致的导航与操作样本。世界模型预训练以Wan2.25B权重初始化在机器人数据上进行全参数微调使其从互联网规模的时空先验适配到具身环境。针对异构数据集中相机配置差异显著的问题模型采用固定的语义槽分配策略定义四个规范视频槽位前两个用于捕捉全局场景与机器人本体配置的第三人称视角后两个用于捕捉精细手物交互的腕部视角。缺失视角以零张量填充并在注意力层中屏蔽确保优化仅由真实视觉观测驱动。3.2 潜在动作模型预训练潜在动作编码器通过ALAMAlgebraically Consistent Latent Action Model框架进行预训练。给定时序有序的三元组观测oi, oj, ok模型学习满足代数一致性约束的转移嵌入可加性约束‖mik − (mij mjk)‖2可逆性约束‖mij mji‖2这些约束鼓励长时程转移可分解为短时时程片段且正向转移与反向转移互为逆操作。预训练完成后仅保留编码器Em作为离线特征提取器为机器人轨迹生成潜在动作监督信号。这一步骤使模型能够从大规模视觉运动中获取知识有效扩展了预训练的监督来源。图6ALAM模型结构。通过时空编码器提取潜在动作利用向量量化与代数一致性约束可加性、可逆性构建结构化的潜在动作空间再通过空间解码器重建视觉观测。3.3 渐进式监督微调监督微调阶段分为两个循序渐进的阶段以实现从稳定学习到推理对齐的平滑过渡**阶段一SFT1联合世界模型与逆动力学微调**在此阶段潜在动作预测与可执行动作预测均以真实的未来视频隐变量为条件。模型联合预测未来视频隐变量、潜在动作与可执行动作总损失为三者损失的加权和。该阶段为动作学习提供了稳定的环境使逆动力学模型能够专注于学习从未来世界演化与运动意图到可执行控制的映射而无需补偿早期预测噪声。**阶段二SFT2Dream Forcing推理对齐微调**当模型达到初步收敛后训练过渡到推理对齐模式。此时预测未来动作的条件从真实未来视频隐变量与潜在动作替换为模型自生成的梦境版本。逆动力学模型因此学会容忍视频预测噪声、轻微物体漂移与不完美的未来推出条件从而优化长时程性能而非单步预测精度。图7不同训练阶段的注意力掩码。a预训练阶段仅视频令牌可见bSFT1阶段引入潜在动作与动作令牌以真实未来为条件cSFT2阶段以梦境隐变量为条件实现训练与推理的注意力对齐。3.4 高效结构化注意力与潜在增强为了支持长序列多模态联合训练ABot-M0.5引入了结构化稀疏自注意力模式编码因果顺序、模态分离与条件可见性。为避免显式块掩码带来的计算浪费研究团队将其重构为一系列稠密子问题使用变长FlashAttention内核执行在数学等价的前提下实现了约5倍的前向-反向传播加速。此外模型采用基于偏移的潜在增强策略传统方法以固定步长H划分视频帧而ABot-M0.5允许起始偏移s在{0, 1, …, H−1}范围内变化使有效潜在分段数量增加H倍。该策略提升了时间多样性并增强了对微小时间变化的鲁棒性。四、实验验证与性能分析研究团队在RoboCasa365、RoboTwin 2.0、LIBERO/LIBERO-Plus以及真实机器人平台上对ABot-M0.5进行了全面评估涵盖长时程移动操作、多任务双手操作、组合式桌面操作与真实世界部署四个维度。4.1 RoboCasa365移动操作基准RoboCasa365是评估长时程移动操作的主要基准包含原子任务、组合已见任务与组合未见任务三类。实验结果显示ABot-M0.5在预训练设置下取得了40.4%的平均成功率在已见原子任务上达到75.9%在已见组合任务上达到38.3%。在更具挑战性的目标域评估Target 100%与Target 10%中ABot-M0.5分别取得了54.2%与30.1%的平均成功率显著优于GR00T-N1.5、Fast-WAM、Lingbot-VA等对比方法。特别值得注意的是在组合任务上的性能提升尤为明显。这类任务要求机器人在更强的视角变化、更长动作链与更严重误差累积的条件下执行ABot-M0.5的优势表明该框架不仅改善了底层动作预测更在结构性上更好地适配了长时程具身推理的需求。图8RoboCasa365基准测试结果可视化。展示了模型梦境视频与仿真执行视频的对照涵盖整理面包篮、收集餐具、装饰煎饼、整理茶具等长时程移动操作任务。4.2 精细操作与泛化能力在RoboTwin 2.0多任务双手操作基准上ABot-M0.5在清洁场景与随机化场景中分别取得94.0%与94.2%的平均成功率表明模型不仅依赖于移动操作特有的结构也能泛化到高维多任务操作场景。潜在动作抽象在缺乏移动性的条件下依然提升了精细控制生成能力而推理对齐训练则增强了视觉扰动下的鲁棒性。在LIBERO与LIBERO-Plus组合式桌面操作基准上ABot-M0.5同样取得了具有竞争力的表现。特别是在LIBERO-Plus的零样本泛化测试中模型在相机、机器人、语言、光照、背景、噪声与布局七种扰动条件下展现出稳健的泛化能力在WAM类方法中表现突出。4.3 消融实验验证各组件贡献消融实验系统地验证了三个核心组件的有效性**中间潜在动作的影响**去除潜在动作流、直接从视频隐变量生成动作的基线成功率为87.60%。将多视角潜在动作与动作沿通道拼接Channel Concat的策略成功率为91.06%。采用三阶段分离策略3-Stage Separate为视频、潜在动作与动作分配独立的时间与模态标识并施加结构化注意力掩码以防止表示泄漏成功率提升至94.00%。**动作解耦MoT的影响**在RoboCasa365组合已见任务上动作解耦的MoT取得0.48的成功率优于模态级MoT基线的0.34。训练动态曲线显示引入动作解耦后视频损失与动作损失的收敛速度均明显加快验证了该设计在降低跨动作空间梯度冲突方面的有效性。**Dream Forcing的影响**从50k步的共享预热检查点出发继续以标准范式训练5k步成功率从67.55%下降至66.78%而启用Dream Forcing继续训练5k步成功率显著提升至70.56%。即使将标准训练延长至10k步成功率也仅恢复至68.90%仍低于Dream Forcing在半数计算预算下取得的性能。这表明Dream Forcing有效弥合了训练-测试差距提升了动作预测鲁棒性。图9不同潜在动作嵌入策略的结构对比。a三阶段分离策略b二阶段分离策略c通道拼接策略。三阶段分离通过独立的令牌流与结构化注意力掩码实现最优性能。图10不同MoT架构设计的训练动态曲线。左图为视频损失右图为动作损失。引入动作解耦的MoT后收敛速度明显加快表明该设计有效降低了优化难度。4.4 预训练与注意力可视化研究团队进一步量化了预训练对模型性能的影响。在RoboCasa365原子已见子集的目标域10%设置下使用相同架构与微调协议经预训练的模型在微调后取得49.0%的成功率而从Wan2.2直接微调的模型仅取得17.8%差距达31.2%。这表明预训练为模型提供了可迁移的视觉与交互先验使下游适应更为高效。通过可视化文本条件注意力图以Mug为例可以观察到预训练与微调如何逐步改善模型的注意力聚焦。原始Wan模型产生分散的注意力常被背景干扰预训练后注意力向机械臂与交互区域转移微调后注意力进一步聚焦于目标物体及其操作区域忽略了无关背景。这一渐进式的注意力对齐过程直观展示了预训练与微调在视觉-动作对齐中的互补作用。图11不同训练策略下的文本-视频注意力图可视化。从左到右依次为原始Wan、WanSFT、预训练、预训练SFT。随着预训练与微调的进行注意力逐渐从分散状态聚焦于目标物体及其操作区域。4.5 真实世界实验在真实机器人平台Agilex Piper 6-DoF单臂上研究团队评估了模型的物理迁移能力。实验仅使用每任务50条真实世界演示数据测试了精细操作与长时程操作两类能力。在精细的圆柱插孔任务中ABot-M0.5取得了70%的成功率与96%的过程分数高于对比方法π0.550%/90%与Fast-WAM30%/77%。模型能够可靠地定位目标物体并在语言引导下完成精确插入表明潜在动作表示有效弥补了粗粒度视频表征在捕获精细运动动态方面的不足。在长时程任务整理餐盘、摆放水果、叠杯、插花中ABot-M0.5展现了连贯的多阶段行为执行能力成功率分别达到70%、80%、80%与60%过程分数均保持在88%以上。相同模型在无需任务特定修改的情况下同时胜任精细操作与长时程任务体现了双层MoT在分离不同模态与动作分布方面的灵活性以及Dream Forcing在缩小训练-推理差距后带来的部署鲁棒性。图12真实世界实验结果。上图展示了五项任务的成功率对比下图展示了过程分数对比。ABot-M0.5在精细操作与长时程任务中均取得了较优性能。图13真实世界实验可视化。展示了整理餐盘、摆放水果、圆柱插孔等任务的梦境视频与真实机器人执行视频的对照体现了模型从仿真到物理世界的有效迁移。五、总结与展望ABot-M0.5通过系统性的对齐感知设计为移动操作中的世界动作建模提供了一个统一的框架。三项核心创新——中间潜在动作、双层混合Transformer与Dream Forcing训练策略——分别对应解决了时间粒度失配、动作结构失配与训练测试条件失配问题。实验结果表明该框架在RoboCasa365、RoboTwin 2.0、LIBERO/LIBERO-Plus以及真实世界任务中均取得了领先的性能验证了其在长时程移动操作与精细控制中的有效性。这些成果表明将世界模型从静态操作扩展到移动操作并非仅仅依赖于规模上的简单放大而是需要通过未来预测、动作解耦与部署时行为的系统性工程对齐来实现。展望未来该框架有望进一步扩展至更广泛的真实世界数据与多样化的机器人具身平台并在开放域长时程任务中通过更高效的记忆机制实现长期上下文保持。同时针对世界动作模型的规模化定律Scaling Laws研究以及面向边缘设备的实时推理优化也将是后续工作的重要方向。本文内容基于论文《ABot-M0.5: Unified Mobility-and-Manipulation World Action Model》整理具身智能世界模型blog https://jinxindeep.github.io/blog/blog2026.html