标题Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs来源arXiv, 2607.04371v2️文章简介研究问题如何在大幅降低混合架构大模型推理成本的同时保持其下游任务性能主要贡献论文提出Iterative Puzzle压缩框架将Nemotron-3-Super压缩为Puzzle-75B-A9B在保持精度的前提下实现交互式服务吞吐量翻倍及百万级上下文并发提升。重点思路采用Iterative Puzzle框架交替进行硬件感知的结构化剪枝与短时知识蒸馏恢复解决单次压缩忽略层间依赖的问题逐步构建中间架构以适应表征变化。实施异构MoE剪枝策略根据层敏感度非均匀分配激活专家数量与中间维度并对Mamba层SSM状态进行基于贡献度的通道剪枝以优化解码效率。设计多阶段性能恢复流程先通过短上下文蒸馏恢复通用能力再利用长上下文蒸馏增强长文本处理最后针对软件工程任务进行强化学习微调以修复敏感能力。结合部署导向的量化与推测解码技术定制FP8/NVFP4混合精度方案并通过持续训练优化共享多Token预测头缓解训练与自回归推理间的分布不匹配问题。探索预填充与解码解耦压缩训练轻量级预填充专用模型生成兼容状态在保留完整解码模型质量的同时加速提示词处理阶段。分析总结在8卡B200节点交互式服务场景下压缩模型在匹配用户吞吐约束时服务器总吞吐量达原模型2倍在单卡H100上百万token并发数从1提升至8。尽管总参数从120.7B降至75.3B、激活参数从12.8B降至9.3B模型在推理、代码、多语言及长上下文等基准测试中仍保持接近原模型的准确率。消融实验证实迭代压缩比单次压缩平均准确率高0.57分且长上下文蒸馏对RULER等长文任务有显著针对性提升验证了分阶段恢复的有效性。优化后的多Token预测头使平均接受长度提升25%-30%配合NVFP4量化进一步将有效请求完成率提升至原模型的4.9倍且量化后接受率衰减更小。预填充分离策略在不损失解码质量的前提下使预填充密集场景吞吐提升5%-7%证明了解耦架构在特定部署模式下的额外压缩潜力。个人观点论文将神经架构搜索从一次性优化升级为迭代式“压缩-修复”闭环精准适配混合MoE与Mamba架构的异构特性。