首先打开魔搭社区,然后搜索DeepSeek-R1-Distill-Qwen-7B,进入详情页
官方推荐使用vllm来启动,但是手动搭建vllm环境容易出各种问题,我们这里直接找一个vllm的Docker镜像
一、拉取镜像
docker pull vllm/vllm-openai
如果拉取不下来,则使用代理镜像
docker pull registry.dockermirror.com/vllm/vllm-openai
# 或者
docker pull dockerhub.icu/vllm/vllm-openai
二、下载模型
下载模型官方提供了多种下载方式,我这里喜欢使用SDK下载或者Git下载:
1、SDK下载
创建一个download_modelscope.py文件,然后内容如下:
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B')
执