量化损失了多少精度Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym与原始BF16模型全面对比【免费下载链接】Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-symQwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym是通义千问 MoE 大模型 Qwen1.5-MoE-A2.7B-Chat 的W8A8 INT8 量化版由 AMD 使用 Quark 工具链量化专为 AMD MI300/MI350 系列加速卡优化可在 vLLM 中借助 Triton INT8 fused-MoE 内核高速推理。很多朋友面对「量化」总是既心动又犹豫INT8 量化到底会损失多少精度模型体积和显存能省多少值不值得用本文就用官方实测数据给你一份BF16 原始模型与 INT8 量化模型的全面对比。先认识主角W8A8 INT8 量化版 Qwen1.5-MoEQwen1.5-MoE-A2.7B-Chat 是一款稀疏专家混合MoE架构的对话模型总参数量高达143 亿14.3B但每次推理只激活其中一小部分专家实际计算量约等于 2.7B 稠密模型。本项目在保持架构不变的前提下对权重和激活做了 INT8 量化核心信息如下项目详情基础模型Qwen1.5-MoE-A2.7B-ChatQwen2MoeForCausalLM总参数量约 143.2 亿量化格式W8A8权重 INT8 激活 INT8量化工具AMD-Quark v0.11.2量化范围仅路由 MoE 专家层推理引擎vLLMQuarkW8A8Int8MoEMethod适配硬件AMD MI300 / MI350 / MI355模型架构细节都写在 config.json 里24 层 Transformer、60 个路由专家、每个 token 激活 4 个专家、隐藏层 2048 维对话参数温度 0.7、top-p 0.8 等则记录在 generation_config.json 中。W8A8 量化方案解析它是怎么「压缩」的理解量化损失的前提是先看懂量化方案。本项目采用 AMD 主推的W8A8 对称量化并做了非常精细的取舍权重WINT8、per-channel按通道、静态、对称量化即预先统计每层权重的分布并固定缩放系数激活AINT8、per-token按 token、动态、对称量化推理时实时计算每个 token 的缩放系数量化范围只量化路由 MoE 专家层而注意力层、共享专家、路由门控等敏感层全部保留 BF16 原始精度。这个「只动专家、不动其他」的策略非常聪明。从模型索引 model.safetensors.index.json 中可以看到每个专家层的权重都附带了weight_scale缩放系数而被排除在外的 self_attn、shared_expert 等层则保持原样对应的排除清单也明确写在 config.json 的quantization_config中。精度实测gsm8k 数学基准全面对比说了这么多大家最关心的还是那句量化后到底还能不能打官方使用 vLLM 框架在gsm8k5-shot1319 道数学题上对量化模型进行了评测结果如下评测维度原始 BF16 模型INT8 量化版本项目差距gsm8k 5-shot 准确率约 51.2官方模型卡51.18≈0.02几乎无损参数量14.3B14.3B一致权重精度BF1616 bitINT88 bit减半结论非常明确INT8 量化版在 gsm8k 上拿到 51.18 分与原始 BF16 模型的官方成绩基本持平精度损失几乎可以忽略不计。如果你希望自己复现这份评测官方在 README.md 中提供了完整的 lm_eval 复现命令在 AMD GPU 上配合 vLLM 即可一键运行。除了精度你还赚到了什么体积与显存大缩减量化最大的意义从来不只是省硬盘更是让大模型在有限显存里跑起来、跑得快。我们算一笔账原始 BF16 模型14.3B 参数 × 2 字节 ≈28.6 GBINT8 量化版14.3B 参数 × 1 字节 缩放系数 ≈16.2 GB模型索引中 total_size 显示为 16,195,497,984 字节。也就是说量化后模型体积直接缩减约 43%。这意味着同样一张显卡原本只能勉强加载 BF16 模型现在可以留出更多显存给 KV Cache 和更长的上下文推理时的访存带宽压力也大幅下降这正是 vLLM 的 Triton INT8 fused-MoE 内核能显著提速的原因。对部署在 AMD MI300/MI350 上的生产环境来说这是实打实的性价比提升。为什么 MoE 模型量化损失这么小三个关键原因看到「几乎无损」的结果你可能会好奇背后的原理。主要有三点只量化专家敏感层保留原精度注意力与共享专家承担了大部分「关键计算」它们保持 BF16从源头守住了精度底线对称 per-channel 静态权重量化专家权重分布相对规整per-channel 缩放能很好地贴合每个输出通道的动态范围INT8 的 256 个量化等级足够用MoE 稀疏激活天然抗噪每次只激活 60 个专家中的 4 个单个专家的轻微量化误差会被路由加权稀释难以累积放大。这也解释了为什么同为 INT8这个模型能做到「省一半内存、几乎不掉分」。如何快速上手使用使用门槛很低只需三步克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym安装 vLLM建议在 AMD ROCm 环境下参考官方文档 README.md直接用模型路径加载推理MoE 专家层会自动走 vLLM 的 INT8 fused-MoE 加速路径无需额外配置。如果你在 AMD 显卡上跑 Qwen 系列模型这个 W8A8 INT8 版本是兼顾速度、显存与精度的绝佳选择即便你暂时没有 AMD 硬件这份「几乎无损的量化方案」也值得作为 INT8 量化的学习范本。总结量化不是洪水猛兽而是降本增效的艺术回到开头的疑问量化损失了多少精度答案是在 gsm8k 数学推理任务上这个 W8A8 INT8 量化模型损失仅为约 0.02 分几乎无损却换来了近一半的体积缩减和更快的推理速度。如果你的场景对精度极其敏感如专业推理、代码生成建议保留 BF16 原始模型但如果目标是低成本部署、高吞吐服务Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym 完全值得你直接上手。【免费下载链接】Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考