多模态大模型本地部署(Qwen2.5-VL-7B-Instruct)
1.模型选型
服务器信息:NVIDIA T4 * 2 16G * 2 Driver Version: 535.154.05 CUDA Version: 12.2模型选择Qwen2.5-VL-7B-Instruct-AWQ,速度非常快,毫秒级响应
2.下载模型
docker run --rm -it \--gpus all \--entrypoint /bin/bash \--pids-li…
2026/7/4 3:16:10