FSE技术详解：Qwen3.5-397B-A17B-MoE-MXFP4中共享专家融合的量化优化
FSE技术详解Qwen3.5-397B-A17B-MoE-MXFP4中共享专家融合的量化优化【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4Qwen3.5-397B-A17B-MoE-MXFP4是AMD推出的一个革命性的大语言模型它采用了先进的共享专家融合FSE技术将MoE模型中的共享专家量化到MXFP4精度并融合到路由的MoE内核中实现了显著的性能提升和内存优化。什么是FSE技术FSEFused Shared Expert技术是一种创新的模型优化方法它专门针对混合专家MoE模型的架构特点进行优化。在传统的MoE模型中共享专家通常以较高精度如BF16运行这会占用大量内存并影响推理速度。FSE技术的核心突破在于共享专家量化将共享专家从BF16精度量化到MXFP4内核融合将量化后的共享专家融合到MoE路由内核中内存优化显著减少BF16内存占用性能提升提高解码吞吐量Qwen3.5-397B-A17B-MoE-MXFP4的架构特点这个模型基于Qwen3.5-397B-A17B架构具有以下关键技术规格特性规格模型架构Qwen3_5MoeForConditionalGeneration参数量397B混合专家专家数量512个专家每token激活专家数10个隐藏层大小4096层数60层量化精度MXFP4权重和激活支持的硬件AMD MI350 / MI355MoE架构的优势 混合专家MoE架构通过以下方式实现高效推理稀疏激活每个token只激活10个专家中的一部分专家专业化每个专家专注于处理特定类型的任务参数高效虽然总参数达397B但实际激活的参数要少得多FSE技术的技术实现细节1. MXFP4量化方案Qwen3.5-397B-A17B-MoE-MXFP4采用了OCP MXFP4量化方案权重量化静态量化每32个元素为一组激活量化动态量化实时适应输入分布量化配置在config.json的quantization_config部分详细定义2. 共享专家融合机制传统的MoE架构中共享专家独立于路由专家运行而FSE技术实现了# 传统MoE处理流程 shared_expert_output bf16_shared_expert(input) routed_experts_output mxfp4_routed_experts(input) output combine(shared_expert_output, routed_experts_output) # FSE优化后的流程 fused_output fused_mxfp4_moe_kernel(input) # 共享专家已融合3. 排除层的策略在量化过程中模型保留了以下关键层的原始精度注意力机制层包括q_proj、k_proj、v_proj、o_proj门控层mlp.gate和mlp.shared_expert_gate视觉模块视觉编码器的关键层线性注意力层linear_attn.*相关层FSE技术的性能优势 内存优化效果通过将共享专家量化到MXFP4模型实现了显著的内存节省组件原始精度FSE优化后节省比例共享专家权重BF162字节MXFP40.5字节75%总内存占用约800GB约200GB75%解码内存需求高显著降低-推理性能提升在AMD MI350/MI355硬件上的测试显示解码吞吐量提升相比保持共享专家为BF16的方案提升约15-20%延迟降低由于减少了内存带宽需求端到端延迟降低能效提升更低的功耗实现相同性能精度保持能力在GSM8K基准测试中FSE技术展现了卓越的精度保持能力模型版本GSM8K准确率精度恢复率Qwen/Qwen3.5-397B-A17B-FP897.95%基准amd/Qwen3.5-397B-A17B-MoE-MXFP4 (FSE)97.27%99.31%惊人的99.31%精度恢复率证明了FSE技术在保持模型能力的同时实现了显著的优化FSE技术的实际应用部署配置示例使用SGLang框架部署Qwen3.5-397B-A17B-MoE-MXFP4python3 -m sglang.launch_server \ --model-path amd/Qwen3.5-397B-A17B-MoE-MXFP4 \ --tensor-parallel-size 4 \ --trust-remote-code \ --attention-backend aiter \ --mem-fraction-static 0.8 \ --host 0.0.0.0 --port 30000量化配置细节在config.json中关键的量化配置包括{ quantization_config: { global_quant_config: { input_tensors: { dtype: fp4, is_dynamic: true, qscheme: per_group, ch_axis: -1, group_size: 32 }, weight: { dtype: fp4, is_dynamic: false, qscheme: per_group, ch_axis: -1, group_size: 32 } } } }FSE技术的未来展望 技术演进方向更精细的量化策略针对不同专家采用不同的量化精度动态专家选择根据输入复杂度动态调整激活专家数量硬件协同优化针对AMD GPU架构的深度优化应用场景扩展FSE技术不仅适用于大语言模型还可扩展到多模态模型图像、视频、文本的联合处理边缘计算在资源受限设备上部署大型模型实时应用需要低延迟响应的场景总结Qwen3.5-397B-A17B-MoE-MXFP4中的FSE技术代表了MoE模型优化的重要突破。通过将共享专家量化到MXFP4并融合到MoE内核中该技术实现了✅显著的内存节省75% BF16内存占用减少 ✅优秀的精度保持99.31%恢复率 ✅明显的性能提升15-20%解码吞吐量提升 ✅高效的硬件利用针对AMD MI系列GPU优化这项技术为部署超大规模语言模型提供了实用的解决方案让397B参数的模型能够在相对较小的硬件配置上高效运行。随着量化技术和硬件加速的不断发展FSE技术有望在更多场景中发挥重要作用对于想要体验这一先进技术的开发者可以通过AMD-Quark工具链进行模型量化和部署享受高效推理带来的便利。【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
