Qwen2.5-Coder-32B-Instruct-AWQ模型部署
1.系统环境
NVIDIA T4 * 2 /16G * 2 Driver Version: 535.154.05 CUDA Version: 12.2Qwen/Qwen2.5-Coder-32B-Instruct-AWQ
2.vllm镜像下载,使用vllm加载模型
docker pull vllm/vllm-openai:latest3.模型下载
阿里魔搭社区
https://www.modelscope.cn/models
…
2026/6/29 22:27:56