人工智能具身智能机器人多模态微调【免费下载链接】GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000项目地址https://ai.gitcode.com/hf_mirrors/nvidia/GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000点击查看免费下载GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000是 NVIDIA 基于 Isaac GR00T N1.73B视觉-语言-动作VLA基础模型微调出的一个机器人策略检查点专门用于让Unitree G1 人形机器人完成摘苹果、放盘子apple pick-and-place任务。本文用通俗的方式带你全景解析它是什么、数据从哪来、怎么训练的、仓库里有什么、如何集成使用。一、快速上手30 秒看懂这个模型 项目说明基础模型nvidia/GR00T-N1.7-3B约 3B 参数机器人本体Unitree G1 人形机器人含腰部高度与导航指令目标任务摘苹果 → 放到盘子上pick-and-place训练数据402 条真机遥操作演示约 9 万帧训练计划40,000 步余弦学习率调度cosine40k本检查点位置第15,000步约第 0.375 个 epoch权重格式Safetensors3 个分片 索引名字里三段信息一目了然AppleToPlate 任务名cosine40k 4 万步余弦学习率计划checkpoint-15000 在第 15,000 步保存的中间检查点训练并未压缩到 15,000 步提前结束详见 README.md。二、模型架构拆解如何做到看懂、听懂、会动 GR00T N1.7 是一个典型的VLAVision-Language-Action模型可以理解为机器人装了眼睛 大脑 小脑模块承担的工作关键技术视觉编码器看懂摄像头画面RGB 图像SigLip2 预训练视觉 Transformer支持原生宽高比、无需填充语言编码器听懂指令如把苹果放到盘子里T5 文本编码器视觉-语言主干把看和听融合成场景理解Cosmos-Reason2-2B基于 Qwen3-VL 架构本体感知 MLP感知机器人自身姿态关节角、躯干等按 embodiment ID 索引的多层感知机动作头预测未来 40 帧的连续动作Flow Matching 动作 TransformerDiT32 层、AdaLN 时间步调制几个值得新手留意的设计来自 config.jsonaction_horizon 40模型一次不是预测下一步而是预测未来 40 个时间步的动作序列action chunk动作更连贯推理只需 4 步num_inference_timesteps: 4flow matching 让去噪推理比传统扩散模型快得多bf16 精度 Flash Attention兼顾精度与推理速度最多支持 32 种机器人本体max_num_embodiments状态/动作维度上限 132为跨机型泛化预留空间。架构示意图可在 README.md 的 Model Architecture 一节中找到。三、训练数据全解402 条 G1 遥操作演示 模型学到的摘苹果本事全部来自真机数据来源与规模如下数据项数值演示条数402 episodes人工通过 XR 头显遥操作 G1 采集原始采样30 Hz 录制本地验证帧率15 fps总帧数90,710 帧有效训练步数84,680 timesteps数据集在模型中以new_embodiment标签加载对应的本体 ID 为unitree_g1_full_body_with_waist_height_nav_cmdID 25见 embodiment_id.json。模型每一步会接收 4 类输入详见 experiment_cfg/conf.yaml 的模态定义videoego_view第一视角egocentric摄像头图像state本体感知左右腿各 6 维、腰部3 维、左右臂各 7 维、左右手各 7 维action 监督目标12 组输出包括左右臂/手/腰的关节指令、导航指令、机身高度指令、以及左右臂/手/腰的effort力矩指令language人工标注的任务描述文本annotation.human.task_description。其中左右臂的动作采用相对表示relative其余采用绝对表示absolute——这是让策略迁移到不同初始姿态时的常用技巧。每个模态的均值、方差、分位数统计被持久化在 experiment_cfg/dataset_statistics.json 和 statistics.json 中用于训练/推理时的归一化。四、训练过程40,000 步余弦学习率下发生了什么 训练配置保存在 experiment_cfg/config.yaml核心超参数超参数取值说明max_steps40,000计划总步数learning_rate1e-4峰值学习率warmup_ratio0.05前 2,000 步线性升温lr_scheduler_typecosine2,000–40,000 步余弦衰减至 0global_batch_size96全局批大小optimadamw_torchAdamW 优化器bf16truebfloat16 混合精度学习率轨迹从 0 线性升温前 2,000 步升到峰值1e-4之后按余弦曲线平滑下降到第 15,000 步本检查点时学习率约为7.38e-5正处于衰减段的中期。损失函数轨迹摘自 trainer_state.json 的训练日志训练步数损失 (loss)学习率梯度范数101.21064.5e-070.2892,000升温结束0.05759.995e-051.0168,0000.02889.40e-050.49510,0000.02398.95e-050.42415,000本检查点0.01827.38e-050.383可以看到损失从 1.21 一路降到 0.018且梯度范数保持平稳无爆炸/消失说明模型在第 15,000 步已学到相当稳定的动作模式但仍保留继续下降的空间——这也解释了为什么要保留 40,000 步的完整计划。此外训练只微调了diffusion 动作头、投影层与 VLLNtune_llm: false、tune_visual: false主干 VLM 参数保持冻结——这是 VLA 微调动小脑、不动大脑的经典做法既省算力又保住通用理解能力。五、检查点文件导航仓库里都有什么 ️文件内容与作用model-00001-of-00003.safetensors 等 3 个分片模型权重约 5GB/片合计含 3B 参数model.safetensors.index.json权重分片索引共 1,030 个张量config.json模型结构超参数DiT 层数、动作维度等processor_config.json输入处理器配置各本体模态、delta 索引statistics.json / experiment_cfg/dataset_statistics.json归一化统计量均值/方差/分位数embodiment_id.json机器人本体 → ID 映射表trainer_state.json完整训练日志loss / LR / 梯度范数experiment_cfg/config.yaml完整训练配置数据、模型、优化器optimizer.pt / scheduler.pt / rng_state.pth优化器状态约 13GB、学习率调度器、随机数状态——可用于断点续训README.md模型卡架构、输入输出、许可、参考论文EXPLAINABILITY.md、BIAS.md、PRIVACY.md、SAFETY_AND_SECURITY.md模型卡 子卡可解释性、偏差、隐私、安全 提示由于包含完整优化器状态该检查点不仅能推理还能续训——你可以从第 15,000 步接着跑完剩余 25,000 步。六、如何部署集成把模型跑起来的路径 获取仓库需要 Git LFS 支持权重文件通过 LFS 存储 git clone https://gitcode.com/hf_mirrors/nvidia/GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000运行环境Linux PyTorch使用兼容的 GR00T N1.7 实现加载 Safetensors 权重硬件支持NVIDIA Ampere / Hopper / Blackwell / Ada / Lovelace / Jetson 系列 GPU 均可运行官方在 RTX 6000 Ada 上完成测试输入输出输入摄像头帧 本体状态 语言指令 embodiment ID输出为连续动作向量对应 G1 各电机的控制量可直接接入机器人控制栈验证指标见 EXPLAINABILITY.md任务成功率、轨迹平滑无抖动、不碰撞其他物体、动作自然度。七、安全、合规与伦理须知 ⚠️本模型受NVIDIA Open Model Agreement约束LICENSE支持全球范围内的商用与非商用模型未针对功能安全关键场景测试部署前需自行添加碰撞检测、夹爪验证、人工监督等护栏在光照不佳、遮挡、传感器漂移等超出训练分布的场景下性能可能退化更换机器人本体或任务变体时建议追加微调与验证详见 EXPLAINABILITY.md 的缓解措施章节。结语GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000展示了一条清晰的小样本机器人微调路径只用402 条真机遥操作演示在 3B 规模的通用 VLA 基础上做冻大脑、调小脑式微调就能让 Unitree G1 人形机器人学会完整的摘苹果放盘子技能。仓库同时保留完整训练日志、统计量与优化器状态对想复现、续训或做二次微调的开发者而言是一份难得透明的实验档案。赞分享人工智能具身智能机器人多模态微调【免费下载链接】GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000项目地址https://ai.gitcode.com/hf_mirrors/nvidia/GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000点击查看免费下载相关推荐模型卡全景解读GR00T-N1.7-AppleToPlate-cosine40k-checkpoint-15000的可解释性、偏差、安全与隐私文档完全解析模型卡全景解读GR00T N1.7 AppleToPlate cosine40k checkpoint 15000的可解释性、偏差、安全与隐私文档完全解析 你人工智能具身智能机器人多模态微调深入解读 Product-Manager-Skills 的 VP/CPO 就位顾问vp-cpo-readiness-advisor面向 Director→VP→CPO 晋升过渡的交互式教练技能深入解读 Product Manager Skills 的 VP/CPO 就位顾问vp cpo readiness advisor面向 Director→人工智能具身智能机器人多模态微调Visual Studio Code tasks.json 配置模式完全解析任务定义、问题匹配器与自动化工作流Visual Studio Code tasks.json 配置模式完全解析任务定义、问题匹配器与自动化工作流 本篇技术指南基于 Visual Studio人工智能具身智能机器人多模态微调创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考