3步快速体验Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym下载、加载、首次对话实战【免费下载链接】Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym想要在本机快速体验 Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym这是一款由 AMD 基于 Qwen1.5-MoE-A2.7B-Chat 打造的 W8A8 INT8 量化大模型专为 AMD MI300 / MI350 系列显卡和 vLLM 推理引擎优化。本文用 3 个简单步骤带你完成下载、加载和首次对话全程零基础也能跟上为什么值得一试MoE INT8 量化的双重优势Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym 的核心亮点有两个特性说明 MoE 稀疏架构总参数 14.3B但每个 token 只激活 60 个专家中的 4 个约 2.7B 参数推理又快又省显存⚡ W8A8 INT8 量化权重和激活都量化为 INT8显存占用更小、计算速度更快 AMD 深度优化路由专家走 vLLM 的 Triton INT8 fused-MoE 内核支持 MI300 / MI350 / MI355这些信息都记录在仓库的 config.json 和 model.safetensors.index.json 中模型结构为Qwen2MoeForCausalLM支持最长 32768 token 的上下文。第一步下载模型权重约 20GB模型权重被拆成 4 个分片文件每个约 5GB。仓库使用 Git LFS 管理大文件直接 clone 后需要再拉取真实权重git clone https://gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym cd Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym git lfs pull 下载完成后你会看到以下关键文件model-00001-of-00004.safetensorsmodel-00004-of-00004.safetensors4 个权重分片config.json模型结构与量化配置generation_config.json默认生成参数tokenizer_config.json 与vocab.json、merges.txt分词器文件chat_template.jinja对话模板ChatML 格式 小提示如果 clone 后看到每个 .safetensors 只有几百字节说明只是 LFS 指针执行git lfs pull即可补齐约 20GB 的真实权重。第二步加载模型两种方式任选推荐使用transformers需 4.57 及以上版本量化脚本依赖此版本或vLLM加载pip install transformers4.57 accelerate # 若使用 vLLM 推理再安装 pip install vllm方式一transformers 快速加载from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_path, trust_remote_codeTrue)方式二vLLM 高性能推理AMD 显卡推荐from vllm import LLM, SamplingParams llm LLM(model./Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym, gpu_memory_utilization0.4, trust_remote_codeTrue)第三步首次对话实战模型使用 ChatML 对话模板见 chat_template.jinja通过apply_chat_template即可自动格式化消息messages [{role: user, content: 请用一句话介绍什么是混合专家模型 MoE}] prompt tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tokenizer(prompt, return_tensorspt) outputs model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))默认生成参数见 generation_config.json已调好temperature0.7、top_p0.8、top_k20、repetition_penalty1.05开箱即用无需额外配置。常见问题速查❓ 显存需要多大INT8 量化后模型文件约 20GB加载权重约需 10GB 显存建议 24GB 及以上显卡并可通过gpu_memory_utilization调节占用。❓ 精度会下降吗会保留大部分能力。官方在 gsm8k5-shot基准上得分为 51.18仅量化了路由专家层注意力与共享专家保持原精度效果损失很小。❓ 没有 AMD 显卡能跑吗可以使用 transformers 方式在 NVIDIA 显卡上也能加载推理只是享受不到专为 AMD 优化的 fused-MoE 内核加速。现在就去试试吧从下载到对话只需 3 步Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym 的轻量高效体验值得你亲手验证一次。【免费下载链接】Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen1.5-MoE-A2.7B-Chat-w-int8-a-int8-sym创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考