Kimi-K2.5-Eagle3-FP8环境搭建完整指南：ROCm 7.0 + vLLM从零配置教程
Kimi-K2.5-Eagle3-FP8环境搭建完整指南ROCm 7.0 vLLM从零配置教程【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8Kimi-K2.5-Eagle3-FP8环境搭建并不复杂只需掌握几个关键配置步骤。本教程将带你从零开始在 AMD Instinct MI355X 显卡上完成 ROCm 7.0 vLLM 环境搭建让 Kimi-K2.5 的推理速度最高提升 2 倍。Kimi-K2.5-Eagle3-FP8 是 AMD 官方基于 Quark 工具量化的 FP8 草稿模型Draft Model专为 Kimi-K2.5 的投机解码Speculative Decoding设计无需校准数据即可直接部署。一、认识 Kimi-K2.5-Eagle3-FP8为什么它能加速推理1.1 它是什么模型简单来说这是一个**预测助手模型**。正式大模型 Kimi-K2.5 每生成一个 token 都要做完整计算而 Eagle3 草稿模型架构为 LlamaForCausalLMEagle3会先快速猜出一段候选 token再由主模型一次性验证。猜得准就能一次验证多个 token吞吐量自然翻倍。1.2 FP8 量化带来的优势本模型使用 AMD Quarkv0.12完成文件到文件量化file-to-file quantization不需要任何校准数据集开箱即用权重量化FP8 E4M3、静态、per-channel、对称激活量化FP8 E4M3、动态、per-channel、对称LM head 与 fc 投影层故意不量化保证精度量化细节都记录在模型的 config.json 中其中exclude字段以正则形式标注了未量化层re:.*fc.*、re:.*lm_head.*这也是 vLLM 正确加载的关键。二、环境搭建前的准备工作硬件与软件清单2.1 硬件要求项目要求GPUAMD Instinct MI355X本模型专为它优化显存建议单节点 4 卡TP4体验最佳操作系统Linux2.2 软件版本对照表软件推荐版本ROCm7.0.0PyTorch2.9.0pytorch-triton-rocm3.5.0Transformers4.57.0推理引擎vLLMROCm 版 新手提示不建议自行编译直接用官方 ROCm Docker 镜像可以省去 90% 的踩坑时间。三、最快配置方法Docker 一键拉起 ROCm 环境官方性能测试使用的镜像是vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f包含完整 ROCm 驱动映射。执行以下命令进入容器docker run -it --rm \ --device /dev/kfd --device /dev/dri --group-add video \ --ipc host --shm-size 16g --network host \ vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f \ bash进入容器后依次设置以下环境变量前三项是 FP8/MXFP4 路径的关键export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FP4_ASM_GEMM1 # 目标模型 MXFP4 的 FP4 ASM GEMM export VLLM_ROCM_QUICK_REDUCE_QUANTIZATIONINT4 export VLLM_ROCM_USE_AITER_RMSNORM0 # TP 8 时必须关闭四、模型下载与目录结构说明在容器内通过 vLLM 直接引用模型名amd/Kimi-K2.5-Eagle3-FP8即可自动下载。若需离线部署仓库内文件结构如下config.json模型配置与 Quark 量化元数据model-00001-of-00002.safetensors / model-00002-of-00002.safetensors权重分片后者仅含未量化的 lm_headmodeling_kimi_k25.pyEagle3 模型结构源码tokenization_kimi.pyTikToken 分词器实现chat_template.jinja对话模板含工具调用与媒体标签preprocessor_config.json多模态处理器配置其中权重分片信息记录在 model.safetensors.index.jsontotal_size约 5.68GB模型体量很轻下载压力小。五、vLLM 推理服务配置教程TP4 实战本仓库的 Kimi-K2.5-Eagle3-FP8 是草稿模型需要搭配目标模型amd/Kimi-K2.5-MXFP4一起使用。启动命令如下vllm serve amd/Kimi-K2.5-MXFP4 \ --port 8888 \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.90 \ --max-model-len 2304 \ --no-enable-prefix-caching \ --trust-remote-code \ --mm-encoder-tp-mode data \ --speculative-config {model:amd/Kimi-K2.5-Eagle3-FP8,method:eagle3,num_speculative_tokens:6,draft_tensor_parallel_size:1}5.1 关键参数解读--speculative-config声明使用 Eagle3 投机解码草稿模型指向本 FP8 版本num_speculative_tokens: 6草稿模型每次预测 6 个候选 tokendraft_tensor_parallel_size: 1草稿模型单独占 1 卡并行度--trust-remote-code必须开启否则无法加载自定义的 modeling_kimi_k25.py⚠️ 注意如果使用 BF16 草稿基线请改用镜像vllm/vllm-openai-rocm:v0.19.0--max-model-len 2248且 speculative-config 中 model 换为lightseekorg/kimi-k2.5-eagle3。不启用投机解码时直接去掉--speculative-config即可得到无加速基线。六、性能验证实测吞吐量提升效果服务启动后可用 vLLM 自带的bench serve命令跑一轮并发压测10 个 prompt/并发输入输出各 1K token--ignore-eos强制输出完整长度for C in 4 8 16 32 64; do vllm bench serve \ --model amd/Kimi-K2.5-MXFP4 \ --backend vllm \ --dataset-name random \ --random-input-len 1024 \ --random-output-len 1024 \ --random-range-ratio 0.8 \ --num-prompts $((C * 10)) \ --max-concurrency $C \ --request-rate inf \ --ignore-eos \ --use-chat-template \ --trust-remote-code done官方在 ISL/OSL1K/1K、TP4 下的测试结果tok/s/GPU并发无投机BF16 草稿FP8 草稿482.7157.0 (1.90x)165.2 (2.00x)8142.2269.1 (1.89x)270.1 (1.90x)16220.5399.6 (1.81x)412.7 (1.87x)32342.2627.6 (1.83x)633.8 (1.85x)64533.3901.6 (1.69x)936.6 (1.76x)可以看到FP8 草稿在全部并发档位都持平或超过 BF16 草稿最高达到无投机基线的 2.00 倍。实现原理上FP8 草稿路径走的是 vLLM 的RowWiseTorchFP8ScaledMMLinearKernel即 hipBLASLt 行级缩放 FP8 GEMM目标 MXFP4 模型则走 ROCm FP4 ASM 路径。七、常见问题排查与避坑指南7.1 加载报错量化层无法识别请检查 config.json 中quantization_config.exclude字段是否为正则形式。若 Quark 导出为普通字符串如fc需手动改为exclude: [ re:.*fc.*, re:.*lm_head.* ]7.2 多卡部署报错当张量并行度 TP 8 时必须设置VLLM_ROCM_USE_AITER_RMSNORM0否则 RMSNorm 内核会异常。7.3 想换目标模型只要目标模型支持投机解码本 FP8 草稿模型都适用但建议在你的服务栈中先验证生成质量与可接受长度acceptance length再上线。八、总结按照本指南你只需四步即可完成 Kimi-K2.5-Eagle3-FP8 环境搭建拉取 ROCm 7.0 Docker 镜像、设置 AITER 环境变量、启动 vLLM 服务并挂载 Eagle3 投机解码配置、运行压测验证吞吐量。相比 BF16 草稿模型FP8 版本在不牺牲精度的前提下让推理速度更进一步是 AMD MI355X 上运行 Kimi-K2.5 系列的性价比之选。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
