为灵巧机器人构建世界模型始于可靠的动作数据机器人世界模型能够预测世界如何响应机器人的动作而变化从而支持远程操作、策略评估和基于模型的规划等应用。对于灵巧机器人而言由于机器人数据有限且动作标签稀缺这项工作变得复杂起来因为收集机器人轨迹成本高昂而硬件差异又限制了场景覆盖范围。NVIDIA的DreamDojo解决方案是首先利用大约44,000小时的以自我为中心的人类视频预训练一个基础世界模型并将连续的潜在动作作为统一的代理标签。然后通过对目标机器人数据进行后训练将这些知识迁移到机器人实例中包括Fourier GR-1 人形机器人。使用 MANUS 手套进行实验室人体演示作为其人机视频数据的一部分DreamDojo包含一个在桌面实验室环境中收集的实验室内数据集用于验证核心建模设计。在该数据集中采集者佩戴MANUS 手套并搭配Vive Ultimate Tracker以捕捉操作任务中涉及物体和动作的精确手部姿态这些物体和动作不会出现在默认的GR-1机器人训练数据中。基于 MANUS 系统的手部姿态测量数据被重新映射到GR-1的动作空间从而生成符合机器人自由度规范的GR-1动作。这种配置提供了一个高精度、真实可靠的动作条件基线代表了一种理想场景额外的运动捕捉设备可以为世界模型提供更精细的动作标签。潜在动作和机器人动作标签DreamDojo的可扩展预训练方法依赖于直接从视频中提取的连续潜在动作这些动作将连续帧之间的运动编码为紧凑的代理标签从大型人类视频数据集中学习而无需对每次录制进行运动捕捉。在实验室消融研究中作者比较了未进行人眼视频预训练、进行无动作预训练、进行潜在动作条件反射训练以及使用基于GR-1动作通过 Vive Ultimate Tracker 从 MANUS捕捉到的手部运动中重新定位进行真实动作条件反射训练的模型。该设置将MANUS手套确立为高精度动作捕捉参考用于验证潜在动作条件反射训练以及在受控的实验室演示中研究动作重定向。评估机器人和下游应用Fourier GR-1是DreamDojo许多实验的主要目标模型包括实验室评估基准测试。此外DreamDojo还利用Unitree G1、AgiBot 和YAM进行后训练从而模拟出超越原始机器人训练分布的各种复杂多变的接触密集型任务和反事实动作。该基础架构支持下游应用包括AgiBot水果包装任务的策略评估、基于模型的规划以及蒸馏后以实时速度对虚拟G1机器人进行远程操控。在这些应用中基于实验室 MANUS的数据集只是众多评估配置之一而非唯一的动作数据来源。关于搜维尔科技我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展使其处于技术前沿甚至更前沿。在这个频道上我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务欢迎垂询。