零基础入门Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0从下载到第一个多模态任务【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0是AMD基于TorchAO优化的多模态AI模型专为AMD EPYC CPU打造支持图像和文本输入能高效完成图文理解、视觉问答等任务。本文将带你从环境搭建到运行第一个多模态任务轻松入门这款强大的模型。 模型核心特性速览Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0作为量化优化版本具备以下核心优势多模态能力支持文本与图像输入输出精准文本内容CPU优化专为AMD EPYC处理器优化通过ZenDNN技术提升推理效率高效量化采用8位动态激活和权重量化平衡性能与精度兼容性强适配vLLM推理引擎和TorchAO量化框架该模型基于Qwen2.5-VL-7B-Instruct进行量化保留了原模型的多模态理解能力同时显著降低了计算资源需求。 环境准备与安装系统要求操作系统Linux硬件AMD EPYC处理器内存建议至少40GB用于KV缓存一键安装依赖通过以下命令安装所需依赖包pip install --extra-index-url https://download.pytorch.org/whl/cpu \ --extra-index-url https://wheels.vllm.ai/cpu/ \ torch2.10.0cpu \ vllm0.18.0 \ torchao0.16.0 \ transformers \ huggingface_hub配置环境变量设置必要的环境变量以优化性能# vLLM CPU运行时调优 export VLLM_CPU_KVCACHE_SPACE40 # KV缓存的主机内存GB export VLLM_CPU_OMP_THREADS_BIND0-63 # NUMA本地核心 # TorchInductor配置 export TORCHINDUCTOR_FREEZING1 export TORCHINDUCTOR_AUTOGRAD_CACHE1 export TORCHINDUCTOR_CACHE_DIR./.torchinductor_cache/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0 # 必需的CPU运行时库 export LD_PRELOADpath to lib/libtcmalloc_minimal.so.4:path to lib/libiomp5.so${LD_PRELOAD::$LD_PRELOAD}提示使用find / -name libtcmalloc_minimal.so.4和find / -name libiomp5.so命令查找库文件路径替换上述命令中的path to lib。 模型下载使用以下命令克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0 cd Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0仓库包含模型权重文件、配置文件和使用说明主要文件包括pytorch_model-00001-of-00002.bin和pytorch_model-00002-of-00002.bin模型权重文件config.json模型配置文件tokenizer.json和vocab.json分词器文件README.md详细使用文档 运行第一个多模态任务下面通过一个简单的示例来体验模型的多模态能力。这个示例将加载模型并处理文本和图像输入。基础使用代码创建一个Python文件输入以下代码import torch from transformers import AutoModelForVision2Seq, AutoTokenizer, Qwen2VLImageProcessor from PIL import Image # 加载模型和处理器 model AutoModelForVision2Seq.from_pretrained( ./, # 当前目录 device_mapcpu, torch_dtypetorch.bfloat16, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained(./, trust_remote_codeTrue) image_processor Qwen2VLImageProcessor.from_pretrained(./, trust_remote_codeTrue) # 准备输入 image Image.open(your_image.jpg).convert(RGB) # 替换为你的图像路径 messages [ { role: user, content: [ {type: image}, {type: text, text: 请描述这张图片的内容。} ] } ] # 处理输入 text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tokenizer([text], return_tensorspt).to(cpu) image_inputs image_processor([image], return_tensorspt).to(cpu, dtypetorch.bfloat16) # 生成输出 outputs model.generate( **inputs, pixel_valuesimage_inputs.pixel_values, max_new_tokens1024, temperature0.7 ) # 解码并打印结果 response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(response)代码解析模型加载使用AutoModelForVision2Seq加载多模态模型AutoTokenizer加载文本分词器Qwen2VLImageProcessor加载图像处理器。输入准备图像使用PIL库打开并转换为RGB格式文本采用聊天模板格式包含图像和文本内容推理过程文本处理应用聊天模板并转换为模型输入格式图像处理将图像转换为模型所需的张量格式生成输出设置最大生成长度和温度参数控制输出多样性运行注意事项确保图像路径正确支持常见格式如JPG、PNG等首次运行会生成TorchInductor缓存可能需要较长时间后续运行会加快根据CPU性能推理时间可能有所不同复杂任务可能需要更长时间 模型性能评估AMD对该模型进行了量化前后的性能对比在ChartQA基准测试中量化模型性能仅下降0.29%表现优异基准测试BF16基准模型DA8W8量化模型性能差异ChartQA0.54480.5432-0.29%你可以使用以下命令复现评估结果lm_eval \ --model vllm-vlm \ --model_args pretrainedamd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0,tokenizerQwen/Qwen2.5-VL-7B-Instruct,dtypebfloat16 \ --tasks chartqa \ --batch_size auto \ --trust_remote_code \ --apply_chat_template \ --log_samples \ --output_path .⚠️ 注意事项与限制版本锁定该模型使用TorchAO v0.16.0量化仅兼容PyTorch v2.10.0和ZenDNN v5.2.1其他版本可能无法正常加载CPU专用专为AMD EPYC CPU优化不建议用于GPU推理内存需求运行时需要足够的内存特别是处理大型图像或长文本时序列化设置保存模型时需使用safe_serializationFalse因为TorchAO量化张量子类目前不支持safetensors格式 许可证信息该模型遵循与源模型相同的许可证详细信息请参见LICENSE文件。修改部分版权归Advanced Micro Devices, Inc.所有。通过本文的指南你已经掌握了Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0的基本使用方法。现在你可以尝试使用不同的图像和问题来探索这个强大模型的多模态能力了【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考