Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0震撼发布AMD ZenDNN优化的CPU视觉语言模型终极指南【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0是由AMD使用TorchAO为ZenDNN优化的CPU推理创建的量化版本基于Qwen2.5-VL-7B-Instruct模型专为AMD EPYC CPU打造为视觉语言处理任务提供高效的解决方案。模型核心特性与优势专为AMD EPYC CPU量身打造该模型经过精心优化仅适用于AMD EPYC CPU进行推理通过ZenDNN技术充分发挥AMD处理器的性能优势为用户带来高效的视觉语言处理体验。先进的量化技术模型采用了INT8量化技术对激活和权重进行对称映射量化激活尺度在运行时按令牌动态计算。这种量化方式在保证模型性能的同时有效降低了计算资源的消耗使得模型在CPU上的运行更加高效。严格的版本兼容性此模型使用TorchAO v0.16.0进行量化仅与PyTorch v2.10.0和ZenDNN v5.2.1兼容。使用时需确保环境版本匹配否则模型将无法正确加载。快速上手模型的安装与使用准备工作在开始使用模型之前需要确保系统中已安装PyTorch v2.10.0和ZenDNN v5.2.1等必要的CPU运行时库。获取模型可以通过以下命令克隆仓库来获取模型git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0加载与量化模型加载和量化模型的过程简单便捷以下是示例代码model_name Qwen/Qwen2.5-VL-7B-Instruct quantized_model AutoModelForVision2Seq.from_pretrained( model_name, # 相关参数设置 )由于Qwen2.5-VL是视觉语言模型因此使用AutoModelForVision2Seq对于纯文本的Qwen变体使用AutoModelForCausalLM的流程相同。保存量化模型量化完成后可以使用以下代码保存模型quantized_model.save_pretrained(output_dir, safe_serializationFalse)模型推理加载量化模型和分词器后即可进行推理tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) output quantized_model.generate( # 输入数据及相关参数 )vLLM CPU运行时调优为了获得更好的性能可以进行vLLM CPU运行时调优通过设置环境变量来配置export VLLM_CPU_KVCACHE_SPACE40 # GB of host memory for KV cache export VLLM_CPU_OMP_THREADS_BIND0-63 # NUMA-local cores模型评估该模型使用lm-evaluation-harness与vLLM引擎采用多模态vllm-vlm模型类型针对BF16未量化基线进行了评估。评估命令示例如下--model vllm-vlm \ --model_args pretrainedamd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0,tokenizerQwen/Qwen2.5-VL-7B-Instruct,dtypebfloat16 \注意事项CPU专用该模型专为AMD EPYC CPU推理优化不适合GPU推理。版本锁定务必使用指定版本的PyTorch和ZenDNN以确保模型正常加载和运行。许可证信息本模型与源模型采用相同的许可证分发详情请参见LICENSE文件。【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考