从Kimi-K2.6到NVFP4AMD量化工作流程的完整解析【免费下载链接】Kimi-K2.6-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.6-NVFP4HuggingFace镜像 / amd / Kimi-K2.6-NVFP4项目是基于Kimi-K2.6模型通过AMD-Quark工具进行NVFP4量化得到的优化模型。该模型能在保持较高性能的同时有效降低资源占用为AI应用部署提供了更高效的解决方案。模型概览 Kimi-K2.6-NVFP4模型在多个方面展现出独特的特性模型架构基于Kimi-K2.6支持文本、图像、视频输入输出为文本硬件支持适用于AMD MI300/MI350/MI355支持模拟软件依赖ROCm 7.2.2、PyTorch 2.10.0、Transformers 5.2.0运行于Linux系统推理与优化采用vLLM作为推理引擎借助AMD-QuarkV0.12进行模型优化NVFP4量化技术解析 NVFP4量化是该项目的核心技术它通过对模型的权重和激活进行特定方式的量化实现模型的高效部署。量化层主要对experts和shared_experts层进行量化权重量化采用NVFP4静态量化方式激活量化运用NVFP4动态量化方式该模型由moonshotai/Kimi-K2.6通过AMD-Quark量化而来将权重和激活都量化为NVFP4格式。量化步骤指南 以下是使用AMD-Quark进行NVFP4量化的脚本cd Quark/examples/torch/language_modeling/llm_ptq/ export output_diramd/Kimi-K2.6-NVFP4 exclude_layers*self_attn* *mlp.gate *mlp.gate.linear *lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj *mm_projector* *vision_tower* python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme nvfp4 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --model_export hf_format \ --output_dir $output_dir \ --trust_remote_code \ --multi_gpu balanced模型部署方法 使用vLLM部署该模型可通过vLLM后端高效部署启动服务器的命令如下export VLLM_ROCM_USE_AITER1 vllm serve amd/Kimi-K2.6-NVFP4 -tp 8 \ --mm-encoder-tp-mode data \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --enforce-eager \ --trust-remote-code模型评估结果 模型在GSM8K和MMLU_PRO基准测试中进行了评估结果如下基准测试Kimi-K2.6Kimi-K2.6-NVFP4(this model)恢复率GSM8K (flexible-extract)93.9393.4899.52%MMLU_PRO (exact-extract)81.4379.2197.27%评估复现方法GSM8K和MMLU_PRO的结果是使用lm-evaluation-harness框架基于Docker镜像rocm/vllm-dev:nightly_main_20260603获得的。首先在容器中安装lm-eval版本0.4.12pip install lm-eval[api]在新终端中评估模型lm_eval \ --model local-completions \ --model_args modelamd/Kimi-K2.6-NVFP4,kv_cache_dtypefp8,base_urlhttp://0.0.0.0:8000/v1/completions,tokenized_requestsFalse,tokenizer_backendNone,num_concurrent32 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size 1lm_eval \ --model local-completions \ --model_args modelamd/Kimi-K2.6-NVFP4,kv_cache_dtypefp8,base_urlhttp://0.0.0.0:8000/v1/completions,tokenized_requestsFalse,tokenizer_backendNone,num_concurrent32,max_length16384,timeout14400 \ --tasks mmlu_pro \ --gen_kwargs do_sampleTrue,temperature1.0,top_p0.95,max_tokens4096,max_gen_toks4096 \ --batch_size auto \ --limit 100快速开始使用 要开始使用Kimi-K2.6-NVFP4模型首先克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.6-NVFP4然后按照上述量化和部署步骤操作即可体验经过NVFP4量化优化的Kimi-K2.6模型。许可证信息 ⚖️Modifications Copyright(c) 2026 Advanced Micro Devices, Inc. All rights reserved. 详细许可证信息请查看LICENSE文件。【免费下载链接】Kimi-K2.6-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.6-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考