vLLM v0.20.2集成指南如何高效运行AMD量化大语言模型【免费下载链接】Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0是由AMD使用TorchAO创建的量化版本专为ZenDNN优化的CPU推理而设计。本文将详细介绍如何使用vLLM v0.20.2集成并高效运行这款AMD量化大语言模型。模型概述 核心特性模型架构LlamaForCausalLM支持文本输入与输出源模型Llama-3.3-70B-Instruct支持硬件AMD EPYCCPU推理推理引擎vLLM v0.20.2量化框架TorchAO v0.17.0量化方法4位仅权重量化W4A16非对称兼容技术栈ZenDNN v6.0.0ZenTorch v2.11.0.1PyTorch v2.11.0TorchAO v0.17.0vLLM v0.20.2快速开始vLLM集成步骤 环境准备首先确保安装以下必要依赖torch2.11.0 torchao0.17.0 zentorch2.11.0.1 vllm0.20.2模型获取通过以下命令克隆仓库获取模型git clone https://gitcode.com/hf_mirrors/amd/Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0OpenMP设置为获得最佳性能设置LD_PRELOAD环境变量# 使用LLVM OpenMP (llvmopenmp) export LD_PRELOAD$(find /path/to/env -name libomp.so | head -1) # 或使用Intel OpenMP (libiomp) export LD_PRELOAD$(find /path/to/env -name libiomp5.so | head -1)注意在启动vLLM或任何推理脚本之前设置LD_PRELOAD。基础使用代码from vllm import LLM, SamplingParams model LLM( modelamd/Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0, dtypebfloat16, ) sampling_params SamplingParams(temperature0.7, max_tokens256) outputs model.generate([Hello, how are you?], sampling_params) print(outputs[0].outputs[0].text)量化细节 该模型使用TorchAO v0.17.0从Llama-3.3-70B-Instruct量化而来方法4位仅权重量化W4A16非对称配置Int4WeightOnlyOpaqueTensorConfig(group_size128)量化层除lm_head和embed_tokens外的所有线性层量化脚本示例python woq_asym.py \ --model_name meta-llama/Llama-3.3-70B-Instruct \ --output_dir ./Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0注意此量化方法W4A16-Asym非对称WOQ特定于ZenDNN执行路径在原生PyTorch中不可用。模型评估 该模型已使用lm-evaluation-harness与vLLM引擎在标准基准上进行评估。评估命令如下lm_eval \ --model vllm \ --model_args pretrainedamd/Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0 \ --tasks mmlu \ --num_fewshot 5 \ --batch_size auto注意事项 ⚠️版本锁定此模型使用TorchAO v0.17.0量化仅与PyTorch v2.11.0 / ZenDNN v6.0.0兼容在其他PyTorch版本上可能无法正确加载。仅CPU使用该模型专为AMD EPYC CPU推理优化不适用于GPU推理。特定执行路径量化使用ZenDNN特定的执行路径无法与原生PyTorch量化直接比较。许可证信息 本模型与源模型使用相同的许可证分发。详情请参见LICENSE文件。修改版权所有 (c) 2026 Advanced Micro Devices, Inc. 保留所有权利。【免费下载链接】Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Llama-3.3-70B-Instruct-w4a16-asym-torchao-v0.17.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考