透过直播反推配方：MiMo-V2.6-Pro-RL 的 RL 训练管线全拆解

透过直播反推配方MiMo-V2.6-Pro-RL 的 RL 训练管线全拆解【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL模型还没发布训练过程先播了——这是 MiMo-V2.6 给 2026 年 9 月的开源社区留下的最鲜明记忆点。公开报道显示小米将 RL 训练画面直接直播六天训练窗口内投入成本以千万级计有媒体核算约为 347 万美元随后 MiMo-V2.6-Pro-RL 以 DeepSWE v1.1 71.9、Agent 多基准逼近闭源旗舰的成绩登顶开源榜。更难得的是直播并非一次性噱头本仓库以 Git LFS 形式托管了从model_pp0_ep0_shard0.safetensors到model_pp0_ep127_shard0.safetensors的 128 份逐 epoch 训练检查点等于把 RL 训练的时间轴和规模物证直接摆上了桌。本文结合仓库源码、配置与公开情报反推这条 RL 训练管线的完整配方算法框架、奖励信号、数据配比、稳定性设计与收尾蒸馏并讨论RL 版与普通 Pro 版的差异究竟沉淀在何处。一、从公开训练画面反推的 RL 管线结构1.1 物证128 份逐 epoch 检查点还原训练节奏仓库根目录下按model_pp0_ep{N}_shard0.safetensors命名的文件从 ep0 一路排到 ep127共 128 份。pp0表明这是流水线并行第 0 段的检查点碎片shard0暗示同一切片还有更多分片ep后缀则记录训练推进的迭代步。把这份物证与直播 6 天的公开情报对齐可以得到一组粗略但可信的节奏数字6 天窗口产出约 128 份检查点即平均每天约 20 次左右的状态落盘结合下述每步吞吐这是一条以小时级更新 分钟级采样为节拍的大规模 RL 流水线。1.2 反推核心全异步 GRPO 与超大批次README.md 明确给出了 RL 算法的骨架算法完全异步的 Group Relative Policy OptimizationGRPO批次规模每步 1,568 个 prompt × 每个 prompt 16 条 rollout单次更新的训练 token 以十亿计组织方式采样、评分、训练解耦为异步流水让 GPU 利用率不受环境执行速度的拖累——这正是大规模 RL 中算力即数据的关键工程选择。异步 GRPO 的价值在 agent 型任务上尤其明显工具调用、终端操作、代码编译这类 rollout 的墙钟时间极不稳定若采用同步 GRPO最慢的一条轨迹会拖住整批更新。把 rollout 生成与梯度更新解耦才能在 1,568 × 16 ≈ 2.5 万条轨迹的规模上维持每步数十亿 token 的训练吞吐。1.3 部署侧的反向工程痕迹训练与推理分叉源码中的一处细节印证了训练配方另有其表。在 modeling_mimo_v2.py 的 MoE 门控实现中if self.topk_method noaux_tc: if self.training: raise ValueError(MiMoV2 noaux_tc routing is only implemented for inference.)即noaux_tc路由只在推理路径实现训练时直接抛错。这说明开源权重面向部署优化真实训练用的门控与数据流在内部 RL 框架中并未随仓库公开。同样config.json 中的quantization_config显示最终发布权重以 FP8/MXFP4 混合量化存储quant_method: fp8、store_dtype: mxfp4进一步佐证本仓库的角色是可部署产物 训练物证而非训练工具链本身。这反而让透过直播反推配方成为唯一可行的逆向路径。二、大规模 RL 的关键设计奖励模型、数据配比与训练稳定性2.1 奖励信号本身也要规模化GRS 与 GAR当 RL 规模大到单步数十亿 token 时二元 pass/fail 奖励会成为天花板——所有通过的 rollout 得分相同模型无从在解空间中进一步排序择优。MiMo-V2.6-Pro-RL 的解法是把奖励信号本身升级为 agentic grading构成自改进闭环Groupwise Reward SynthesisGRS离线阶段让一个 agentic grader 对比组内不同 rollout构建任务特定的评分细则rubric再把细则质量与测试结果融合成奖励。它回答的是这组解里谁更好而非过没过Groupwise Advantage RedistributionGAR在线阶段对组内通过测试的轨迹做质量排序将 advantage 向更高质量的解转移。这两个机制组合的效果是模型被明确引导去少干活、干得准——README 指出该闭环会压低每任务的 token 消耗与路径长度。奖励不再奖励话痨而是奖励最短有效路径这与直播画面中观察到的思考链越来越短的公开讨论相互印证。2.2 数据配比You Only RL Once 的单次混合训练另一个显著设计是不做按领域拆分的多次 RL。README 描述的 You Only RL Once 策略将代码、通用 Agent、视觉与网络安全四类任务在同一个 batch 内混合训练任务与多个 harness 交叉抽样让各领域能力互相增强并把策略迁移到训练中从未见过的 harness 上。这一设计的收益在评测表中清晰可见——以 MiMo-V2.5 Pro 为基线单次混合 RL 后的能力跃迁是全维度的BenchmarkMiMo-V2.6-Pro-RLMiMo-V2.5 ProDeepSWE v1.1代码 Agent71.919.0ProgramBench26.512.5AutomationBench v1.0.6通用 Agent53.116.0Toolathlon-Verified76.949.1GDPval-AA 2.116731107Terminal Bench 4.034.91.5CyberGym网络安全94.040.0MiMo Cyber Bench80.20.0从 19.0 → 71.9DeepSWE到 0.0 → 80.2MiMo Cyber Bench单次混合 RL 把上一代旗舰几乎不会的任务直接拉到可用水位。混合训练的另一个隐含收益是防遗忘域间交替采样让模型在获取新能力的同时不塌掉既有技能。2.3 稳定性Aligned RL 冷启动与防 reward hacking大规模 RL 最怕的不是能力不足而是奖励钻空子。仓库披露的稳定化手段分三层冷启动自纠错模型先对自己的 misaligned 回合做反思与重写生成 grounded 的下一步再进入 RL。这相当于用 SFT 阶段解决初始策略太弱导致奖励信号全为噪声的冷启动问题环境硬化与对抗筛查训练过程中持续对任务环境做加固并主动筛选对抗性样本压缩奖励模型被套路的空间验证器交叉检查verifier 与 grader 互为校验防止单一打分器被策略反向利用。配合 config.json 中可见的结构性设计——attention_value_scale: 0.612、SWA/GA 的 attention sink bias、sliding_window: 128——可以推断训练侧对长程 agent 轨迹的数值稳定性做了显式约束这些是让数十亿 token 级 RL 不震荡的工程细节。2.4 收尾MOPD2 把能力扩展到难验证任务混合 RL 结束后管线以 Multi-Prefix Multi-Teacher On-Policy DistillationMOPD2收尾将自主学生 rollout 与两种前缀条件单轮 rolloutTeacher-Prefix、SFT-Prefix结合复用教师轨迹与 SFT 演示的历史上下文让模型在决策点上直接训练而无需每次重新生成前序回合。其针对的正是那些没有可靠验证器、难以直接做 RL 的任务——通过蒸馏把已验证能力迁移过去。2.5 配套推理加速DFlash 草稿解码器RL 消耗的巨大 token 量让推理吞吐成为刚需。仓库中的 dflash/ 提供了一套与主模型解耦的草稿解码器其 dflash/config.json 揭示了关键设计target_layer_ids: [0, 15, 31, 47, 69], num_anchors: 4096, block_size: 8, loss_decay_gamma: 7.0, sliding_window: 1024, num_target_layers: 70草稿模型以 5 层滑动窗口注意力SWA从 70 层主模型的 5 个中间层抽取 hidden statetarget_layer_ids均匀锚定在第 0/15/31/47/69 层拼接后经fc投影作为条件特征spec_generate中以 8-token 为块并行预测其中 7 个为待验证草稿 token与主模型逐块核对接受长度。这与 README 中一次前向预测 7 个后续 token的描述一致。锚点数量 4096 意味着草稿模型预训练阶段即在大规模 token 上建立了与主模型表征的对齐。三、「RL 版」与普通 Pro 版的差异在权重上的体现3.1 拓扑不变变化在分布将 config.json 与 README 的架构表对照MiMo-V2.6-Pro-RL 的骨架与 MiMo-V2.6 系列其他成员完全同构70 层SWA 为主、周期插入全注意力层、隐藏维度 6144、384 个路由专家、每 token 激活 8 个总计 1.02T 参数 / 42B 激活上下文 1M token原生支持文本/图像/视频/音频。RL 训练不改变网络拓扑也没有任何 config 开关标记RL 版本——RL 的痕迹只存在于权重分布与行为统计之中。这一点在仓库文件组织上体现得尤为直观与最终权重model.safetensors.index.json并列的是 128 份逐 epoch 检查点。对比 ep0 与 ep127 的权重观察到的将不是结构变化而是 MoE 路由偏置e_score_correction_bias、注意力 sink bias、以及各专家参数在 RL 梯度下的再分布——这正是直播画面在权重空间里的落点。3.2 行为证据能力曲线而非参数曲线RL 版与普通版差异的最强证据来自行为基准见 2.2 节表格。值得注意的是提升集中在agent 长程任务DeepSWE、AutomationBench、Terminal Bench与安全攻防CyberGym、MiMo Cyber Bench上而非单轮问答——这是 GRPO 在多步环境反馈上优势的直接体现也是 GRS/GAR 组内择优机制发生作用的领域。3.3 需要坦白的边界必须承认本仓库并未同时提供未经 RL 的普通 MiMo-V2.6-Pro 权重因此RL 版 vs 普通版的权重级逐张对比无法在本仓库内直接完成。可确证的事实链是相同的架构与 config → 不同的训练配方大规模混合 RL→ 迥异的行为分布基准分维度跃迁→ 更短的轨迹与更省的 token。RL 版与普通版的差异本质上是同一副骨架下能力曲线的位置差而 128 份检查点正是这条能力曲线的逐点采样。结语把公开情报与仓库证据拼合MiMo-V2.6-Pro-RL 的配方可以还原为一条清晰的四段式管线异步 GRPO 大规模采样1,568×16/step→ GRS/GAR 组内 agentic 评分让奖励随规模升级→ 四域混合单次 RL Aligned RL 稳定性护栏防奖励钻空→ MOPD2 蒸馏收尾覆盖难验证任务最后以 DFlash 草稿解码器支撑推理吞吐。直播给出了时间轴与成本128 份检查点给出了规模与节奏README.md、config.json 与 modeling_mimo_v2.py 则补齐了算法与部署细节——唯一缺席的是训练 harness 与内部评分代码而这恰好为社区留出了一份值得反复研读、也值得复刻验证的开放性蓝本。【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考