Kimi-K2-Instruct-0905-MXFP4入门教程3步完成vLLM服务搭建与推理测试【免费下载链接】Kimi-K2-Instruct-0905-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Instruct-0905-MXFP4Kimi-K2-Instruct-0905-MXFP4是基于Kimi-K2-Instruct模型优化的MXFP4量化版本专为AMD MI350/MI355硬件设计通过vLLM推理引擎可实现高效文本生成服务。本文将带你通过3个简单步骤完成从环境准备到推理测试的全流程。 准备工作环境与依赖检查在开始部署前请确保你的系统满足以下要求操作系统Linux推荐Ubuntu 22.04硬件要求AMD MI350/MI355 GPU需支持ROCm 7.0软件依赖ROCm 7.0驱动Python 3.9vLLM推理引擎需从源码编译以支持MXFP4Git工具通过以下命令检查ROCm版本rocminfo | grep ROCm Version 步骤1获取模型与安装依赖克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2-Instruct-0905-MXFP4 cd Kimi-K2-Instruct-0905-MXFP4安装vLLM支持MXFP4版本# 创建虚拟环境 python -m venv venv source venv/bin/activate # 安装依赖 pip install torch --index-url https://download.pytorch.org/whl/rocm7.0 pip install vllm[amd] # AMD专用vLLM版本 步骤2启动vLLM服务配置环境变量export VLLM_ATTENTION_BACKENDTRITON_MLA export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS0启动服务8卡配置vllm serve ./ \ --port 8000 \ --served-model-name kimi-k2-mxfp4 \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2服务启动成功后你将看到类似以下输出INFO 07-12 08:35:50 llm_engine.py:72] Initializing an LLM engine with config: ... INFO 07-12 08:35:55 server.py:327] Starting server on 0.0.0.0:8000✨ 步骤3推理测试与性能验证使用curl进行简单测试curl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d { model: kimi-k2-mxfp4, prompt: 请解释什么是MXFP4量化技术, max_tokens: 200 }预期输出示例{ id: cmpl-xxx, object: text_completion, created: 1720763750, model: kimi-k2-mxfp4, choices: [ { text: MXFP4Modified Floating-Point 4-bit是AMD推出的一种量化技术..., index: 0, logprobs: null, finish_reason: length } ], usage: { prompt_tokens: 15, completion_tokens: 200, total_tokens: 215 } } 模型性能参考根据官方测试数据该模型在GSM8K数学推理任务中表现优异基准测试原始模型MXFP4量化模型性能恢复率GSM8K (flexible-extract)95.45%93.78%98.25% 注意事项硬件配置--tensor-parallel-size 8参数需根据实际GPU数量调整量化优化模型使用AMD-Quark V0.11.1进行MXFP4量化配置文件量化参数可在config.json中查看详细配置长文本支持模型最大上下文长度为131072 tokens详见generation_config.json通过以上3个步骤你已成功搭建Kimi-K2-Instruct-0905-MXFP4的vLLM推理服务。如需进一步优化性能或集成到应用中可以参考vLLM官方文档的高级配置指南。【免费下载链接】Kimi-K2-Instruct-0905-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Instruct-0905-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考