机器人仿真为什么难开发一台能自主完成复杂任务的机器人离不开大量的测试与验证。然而真实世界的测试昂贵、耗时且难以复现。让一台机械臂在真实环境中试错成千上万次意味着设备、人力、场地和时间成本都要持续投入。更麻烦的是真实环境很难完全复现光照、物体位置、桌面状态等只要其中一个条件变化测试结果就可能受到影响。传统仿真器例如 Isaac Sim、MuJoCo提供了一种替代方案在虚拟环境中验证算法再迁移到真实世界。但这条路同样崎岖手工构建仿真场景本身就是一项浩大的工程。3D建模、材质设定、物理参数调校等每一个新环境都可能需要数天甚至数周的搭建。有没有一种方法能像生成图片和视频一样“生成”一个仿真环境更进一步——能不能像真正的仿真器那样做到逐帧交互、逐帧闭环Uranus一帧一反馈的世界模型地瓜机器人算法团队提出了 Uranus一个基于视频扩散模型、工作在帧级闭环模式下的交互式世界模型。它将机器人仿真从“手工搭建”推进到“数据驱动”的全新范式。给定几帧参考图像、机器人关节状态、相机参数和一句文本描述模型就能自回归地生成多相机视角下连续、可控的未来视频流用于模拟机器人与环境的交互过程。Uranus 模型架构模型在参考帧和历史帧约束下根据输入的动作通过 flow matching 生成下一帧。帧级闭环是 Uranus 的核心能力。 与传统的“输入一段动作、一次性输出整段视频”的开环生成不同Uranus 的工作方式更像一个真正的仿真器按帧推进生成过程并将每一帧结果反馈给下一步预测使动作指令可以在过程中实时调整。具体来说这一过程分为三步•每一步只生成一帧模型根据当前观测参考图 历史帧和动作指令预测下一时刻的多相机画面•生成结果立刻反馈新生成的帧被追加到历史窗口中成为下一步预测的条件•动作可以实时调整因为是一帧一帧推理的你可以在任意时刻改变动作指令模型会立刻响应这相当于一个帧级的“视觉数字孪生”给定初始画面和机器人模型开发者可以像操作真实机器人一样生成画面中逐步“驾驶”Uranus而这一过程不需要手工 3D 建模。四个能力让生成模型更接近仿真器1. 让不同机器人说同一种“图像语言”传统方法通常需要为每种机器人单独适配或训练模型。Uranus 则通过统一的骨架渲染管线彻底解耦了具身结构与模型输入•只需提供 URDF 或 MJCF 格式的机器人描述文件结合关节位置qpos•系统自动通过前向运动学FK计算 3D 关节坐标投影到相机平面渲染为骨架图•同一个模型即可支持 G1 人形机器人、Franka 协作臂、双臂系统乃至移动平台换言之一个模型支持多种具身训练一次即可在不同机器人本体上复用。这对闭环交互至关重要。因为在闭环模式下模型每时每刻都在接收自己上一帧的预测结果作为输入。如果模型只能处理单一机器人每换一个本体就要重新训练闭环的泛化性就无从谈起。Uranus 的骨架渲染管线让不同机器人的动作都落到同一个“图像语言”里这样无论驱动的是 G1 还是 Franka模型看到的是统一格式的骨架图。2. 闭环跑得更久画面不容易漂帧级闭环的难点在于误差会不断累积。每一步的微小预测误差都会作为历史条件喂入下一步几十步之后画面可能开始漂移甚至出现明显失真。这也是很多视频生成模型只能稳定生成几秒钟片段的重要原因。Uranus 通过三项关键设计突破了长时闭环生成的瓶颈•因果注意力掩码Causal Mask确保每一帧只能看到历史上下文严格遵循自回归闭环的因果结构•帧相对位置编码Frame-Relative RoPE让模型在训练时只见过短片段推理时却能泛化到任意长度的闭环 rollout•参考帧注意力汇Reference Sink利用 Transformer 中天然存在的“注意力汇”现象将初始参考帧永久保留在上下文窗口中作为视觉锚点——无论闭环跑多少步模型始终有一个“干净的起点”可以参考有效抑制画质漂移在这些设计支持下Uranus 可以在训练只用 2 秒片段的情况下在推理阶段稳定生成 60s 级别的闭环视频并保持较好的画面连续性。训练 2 秒闭环60秒这也是 Uranus 长时闭环生成能力最直观的体现。3. 多个相机看到同一个世界机器人通常配备多个相机。以操作任务为例机器人可能同时使用腕部相机、环境相机等多路视觉输入。Uranus 支持同步生成 3 路以上相机视角并保持不同视角之间的空间一致性。为此Uranus 设计了交替式空间-时间注意力机制•空间模式同一时刻不同相机之间交换信息保证多视图几何一致性•时间模式同一相机沿时间轴建模运动动态在闭环推理时只有这些层需要建立 KVCache这两种模式在 DiT 的各层之间交替执行兼顾了计算效率与生成质量。4. 相机可以移动观察角度更灵活除了动作可控Uranus 还支持相机轨迹控制。通过 Plücker 射线嵌入 模型可以将每一帧的相机外参和内参编码为逐像素几何特征。这种表示完全由相机标定参数直接决定无需额外任何学习。在闭环交互场景中开发者这意味着你可以像操作传统仿真器一样在任意时刻移动相机位置和角度。模型会根据新的相机参数在下一步生成对应视角的画面。这意味着Uranus 不只能模拟机器人动作也能支持动态观察既可以看整体环境也可以切换到末端视角观察机器人与物体的接触过程。技术架构速览输入动作生成下一帧从架构上看Uranus 是一个由动作和相机轨迹共同约束的多视角交互视频模型。模型接收参考帧、历史帧、机器人动作、相机参数和文本描述基于预训练的 Wan 2.1 视频 DiT 骨干通过 Flow Matching逐步去噪生成下一帧画面。新生成的画面继续进入历史窗口参与下一步预测从而形成帧级闭环。Uranus动作和相机轨迹约束的多视角可交互视频模型模型提供 1.3B 和 14B 两个参数规模分别适用于快速实验和高保真闭环生成场景。让逐帧生成真正跑起来帧级闭环对工程效率提出了严苛的要求。每生成一帧都需要完成一次完整的去噪扩散过程如果每一步都从头计算注意力计算开销会随着序列长度快速增长。为降低推理成本Uranus 引入了 KV-Cache 和滑动窗口机制•预填充阶段参考帧和历史帧的 Key/Value 被计算并缓存•去噪阶段当前帧只计算自己的 Key/Value与缓存中的历史拼接即可完成注意力——无需重复计算•滑动窗口淘汰当历史帧超过窗口大小时自动淘汰最旧的帧保证每步开销恒定训练侧Uranus 采用 HSDP、序列并行 和 VAE Tile 并行的混合策略支持 64 GPU 规模训练。通过参数分片、数据并行、序列并行等方式系统可以处理高分辨率、多视角、长序列视频训练带来的显存和通信压力。推理阶段Uranus则通过 KV-Cache、 滑动窗口淘汰和 序列并行机制减少重复计算让每一步的延迟和显存占用保持相对稳定——无论生成多少帧开销不变以支持多环境并行实时 Rrollout。从生成视频到交互式仿真Uranus 重新定义了“用生成模型做仿真”这件事。帧级闭环是 Uranus 区别于一般视频生成模型的核心特性。正是因为它能一帧一帧地接收动作、一帧一帧地产出画面、再将画面反馈给下一步它才能成为一个真正可用的交互式仿真器而不是一个只能“播放”的视频生成器。围绕 Uranus同时地瓜机器人正在探索一种新的机器人仿真构建方式我们•不再需要手工搭建 3D 场景•不再为每种机械臂单独训练模型•不再受限于秒级的生成长度•用数据驱动的方式让机器人在“想象”中学会与世界交互真实世界测试仍然是机器人开发中不可替代的一环。Uranus 的价值在于为真机测试之外的训练、评测和策略迭代提供新的工具让机器人能够在更可控的环境中完成更多轮试错。地瓜机器人将持续推进 Uranus 的技术迭代并在后续公布完整技术报告、训练细节和定量实验结果。