【免费下载链接】MotusOfficial code of Motus: A Unified Latent Action World Model项目地址https://gitcode.com/gh_mirrors/motus1/Motus点击查看免费下载Motus是一个统一隐动作世界模型Unified Latent Action World Model它把视频生成、视觉语言理解和机器人动作建模融合进同一个 MoT 架构中。在 RoboTwin 2.0 仿真基准上Motus 以每个任务 50 条 clean 500 条 randomized 数据、50 个任务多任务联合训练取得了87.02% 平均成功率比 X-VLA 高 15%、比 π₀.₅ 高 45%。本文完整记录如何从零搭建 RoboTwin 仿真评测环境一步步跑通并复现这套评测流程。1. 评测环境总览为什么需要两个 conda 环境RoboTwin 评测与 Motus 训练运行在相互独立的两个 conda 环境中这是官方评测流程的核心约定见 inference/robotwin/Motus/README.md环境用途关键依赖motus模型训练 / 数据转换Python 3.10、torch 2.7.1cu128、flash-attnRoboTwin仿真与策略评测CUDA ≥ 12.6、torch ≥ 2.4.0 新手最容易踩的坑在motus环境里直接跑评测脚本。请务必确认当前处于RoboTwin环境。先克隆仓库并安装 Motus 训练环境用于数据准备和后续微调git clone https://gitcode.com/gh_mirrors/motus1/Motus cd Motus conda create -n motus python3.10 -y conda activate motus pip install torch2.7.1 torchvision0.22.1 --index-url https://download.pytorch.org/whl/cu128 pip install flash-attn --no-build-isolation pip install -r requirements.txtRoboTwin 平台环境按官方安装文档创建即可系统要求CUDA ≥ 12.6、PyTorch ≥ 2.4.0。2. 下载模型权重三份 checkpoint 一次备齐评测需要下载以下权重见 README.md 的 Model Checkpoints 一节统一放到pretrained_models/目录mkdir -p pretrained_models # Motus 各阶段 checkpoint huggingface-cli download motus-robotics/Motus_Wan2_2_5B_pretrain --local-dir ./pretrained_models/Motus_Wan2_2_5B_pretrain huggingface-cli download motus-robotics/Motus --local-dir ./pretrained_models/Motus huggingface-cli download motus-robotics/Motus_robotwin2 --local-dir ./pretrained_models/Motus_robotwin2 # 底座模型 huggingface-cli download Qwen/Qwen3-VL-2B-Instruct --local-dir ./pretrained_models/Qwen3-VL-2B-Instruct huggingface-cli download Wan-AI/Wan2.2-TI2V-5B --local-dir ./pretrained_models/Wan2.2-TI2V-5B评测 RoboTwin 成绩时使用Motus_robotwin2Stage 3 微调后的 checkpoint。⚠️ 显存参考带预编码 T5 推理约需24GB显存RTX 5090 可跑不带预编码 T5 则约 41GB。3. 部署评测代码一条命令接入 RoboTwin把仓库中现成的评测目录复制到 RoboTwin 的policy/下# 在 Motus 仓库根目录执行 cp -r inference/robotwin/Motus /path/to/RoboTwin/policy/部署完成后目录结构如下RoboTwin/ ├── policy/ │ └── Motus/ │ ├── auto_eval.sh # 批量评测入口 │ ├── eval.sh # 单任务评测入口 │ ├── per_eval_logs.sh # 结果解析 │ ├── paths_config.yml # 路径配置必改 │ ├── tasks_all.txt # 任务清单 │ ├── deploy_policy.py # 策略封装 │ └── requirements.txt ├── script/ │ └── eval_policy.py然后在RoboTwin 环境中安装评测专用依赖conda activate RoboTwin cd /path/to/RoboTwin/policy/Motus pip install -r requirements.txt4. 配置 paths_config.yml评测的 5 个关键路径打开 paths_config.yml 填写 5 个必填项# 必改的核心路径 robotwin_root: /path/to/RoboTwin # RoboTwin 仓库根目录 conda_env: /path/to/conda/envs/RoboTwin # RoboTwin conda 环境绝对路径 checkpoint_path: /path/to/Motus_robotwin2 # 见下方注意事项 # 底座模型路径仅需 config/tokenizer不需完整权重 wan_path: /path/to/pretrained_models/Wan2.2-TI2V-5B vlm_path: /path/to/pretrained_models/Qwen3-VL-2B-Instruct # 可选配置 gpu_ids: [] # 留空 自动检测全部 GPU task_config: demo_randomized seed: 42 tasks_file: tasks_all.txt三个高频报错的排查要点checkpoint_path必须是目录其下直接包含mp_rank_00_model_states.pt文件wan_path/vlm_path只提供 config 和 tokenizer权重从 checkpoint 加载路径指错会直接报Checkpoint not foundconda_env写的是环境目录如~/miniconda3/envs/RoboTwin不是可执行文件。5. 配置任务清单50 个任务怎么排任务清单由 tasks_all.txt 管理每行一个任务名官方默认覆盖 RoboTwin 2.0 的 50 个任务例如adjust_bottle click_alarmclock open_microwave place_bread_basket stack_bowls_three ...共 50 个只想先小规模验证时可以临时只留 23 个任务跑通流程再恢复完整列表。6. 单任务调试先跑通一个任务再批量批量评测前强烈建议先用单任务模式验证环境无误。修改 eval.sh 顶部的两个变量TASK_NAMEclick_alarmclock # 想测的任务名 GPU_ID0 # 使用的 GPU然后执行cd /path/to/RoboTwin/policy/Motus bash eval.sh click_alarmclock脚本会自动加载paths_config.yml、激活 RoboTwin 环境、校验所有路径最终调用 RoboTwin 的script/eval_policy.py执行仿真日志保存在logs_single_时间戳/目录。看到✅ Task ... completed successfully即环境配置成功。7. 批量评测多 GPU 并行跑完 50 个任务确认单任务无误后启动批量评测cd /path/to/RoboTwin/policy/Motus bash auto_eval.shauto_eval.sh 的调度逻辑非常适合生产环境自动检测空闲 GPU或通过gpu_ids手动指定把tasks_all.txt中的任务轮流分配到各 GPU并行执行每个任务独立写入logs_时间戳/任务名.log并实时刷新进度条结束后自动生成evaluation_summary.txt汇总每个任务的成功/失败状态与总成功率。8. 查看结果逐任务成功率解析批量跑完后用 per_eval_logs.sh 解析每个任务的详细得分。只需把脚本顶部的LOG_DIR指向你的日志目录# 修改脚本顶部 LOG_DIR/path/to/RoboTwin/policy/Motus/logs_YYYYMMDD_HHMMSS bash per_eval_logs.sh输出是一张带颜色分级的任务得分表≥80% 绿色、50%~80% 黄色、50% 红色并计算平均成功率——这就是可以和官方 87.02% 对齐的指标。脚本还会把低于 50% 的任务写入failed_tasks.txt可直接作为tasks_file重跑失败任务非常适合迭代调优。9. 数据准备与进阶想自己微调怎么办如果你希望用自己的数据复现训练流程Motus 提供了 RoboTwin 原始数据集转换器见 data/robotwin2/robotwin_data_convert/README.md# 1. 下载原始数据集自动使用 HF 镜像加速 python3 data/robotwin2/robotwin_data_convert/download_robotwin_dataset.py --output_dir /path/to/robotwin_raw_dataset # 2. 修改 config.yml 中的 source_root / target_root / wan_repo_path # 3. 一键转换 bash data/robotwin2/robotwin_data_convert/run_conversion.sh转换后得到clean/与randomized/两个子集含多相机拼接视频videos/*.mp4、机器人位姿qpos/*.pt、指令metas/*.txt配合 configs/robotwin.yaml 中data_mode: both、task_mode: multi的设置即可按 TRAINING.md 的说明启动 Stage 3 多任务微调。10. 常见问题速查现象可能原因解决方案启动即报Checkpoint not foundcheckpoint_path指向了.pt文件而非目录指向包含mp_rank_00_model_states.pt的目录评测报 CUDA / 版本错误在motus训练环境里运行切换到 RoboTwin 环境CUDA ≥ 12.6、torch ≥ 2.4评测 OOM显存不足评测时保持单任务单卡确认无其他进程占用成功率异常偏低checkpoint 与 config 不匹配确认使用Motus_robotwin2robotwin.yml配置总结整条评测链路可以浓缩为四步装环境 → 拷代码 → 填路径 → 跑脚本。Motus 仓库把 RoboTwin 评测所需的策略封装deploy_policy.py、调度脚本auto_eval.sh和结果解析per_eval_logs.sh都预先准备好了新手只需要正确配置paths_config.yml中的 5 个路径就能在几小时内完成 50 个任务、8 卡并行的完整基准评测最终在日志中核对属于自己的那个平均成功率。 相关文档延伸阅读推理总指南INFERENCE.md真实机器人Real-World推理inference/real_world/Motus/README.md训练指南TRAINING.md数据格式说明DATA_FORMAT.md赞分享【免费下载链接】MotusOfficial code of Motus: A Unified Latent Action World Model项目地址https://gitcode.com/gh_mirrors/motus1/Motus点击查看免费下载相关推荐PlayIntegrityFork终极指南快速修复Google Play完整性检测PlayIntegrityFork终极指南快速修复Google Play完整性检测 PlayIntegrityFork是一款强大的Zygisk模块专为修复Acocotb 终极指南3步完成硬件仿真环境搭建cocotb 终极指南3步完成硬件仿真环境搭建 想要用 Python 优雅地测试硬件设计吗cocotb 正是你需要的解决方案。这个基于协程的协同仿真库让硬件测试硬件开发DroneKit-Python仿真环境搭建3步完成无人机虚拟飞行测试DroneKit Python仿真环境搭建3步完成无人机虚拟飞行测试 无人机开发过程中最大的痛点就是硬件测试成本高、风险大。DroneKit Python提供无人机机器人通信创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考