本地部署DeepSeek R1 + 界面可视化open-webui
本文主要讲述如何用ollama镜像和open-webui镜像部署DeepSeek R1， 镜像比较方便我们在各个机器之间快速部署。
显卡推荐
| 模型版本 | CPU | 内存 | GPU | 显卡推荐 |
|---|---|---|---|---|
| 1.5B | 4核+ | 8GB+ | 非必需4GB+ | RTX1650、RTX2060 |
| 7B、8B | 8核+ | 16GB+ | 8GB+ | RTX3070、RTX4060 |
| 14B | 12核+ | 32GB+ | 16GB+ | RTX4090、RTX5080 |
| 32B | 16核+ | 64GB+ | 24GB+ | A100 40GB |
| 70B | 32核+ | 128GB+ | 多卡 | 2×A100 80GB |
| 671B | 64核+ | 512GB+ | 多卡 | 8×A100/H100 |
以上配置仅供参考
安裝部署ollama镜像
进入 ollama镜像官网 | https://hub.docker.com/r/ollama/ollama，选择Download
镜像是部署在ubuntu系统上的，请确保已经安装好docker和NVIDIA Container Toolkit等系统环境。
拉取启动镜像
创建一个目录，用来保存ollama下载下来的模型
mkdir -p ollama/data
cd ollama/
只有CPU的情况下:
sudo docker run -d -v ./data:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
有GPU的情况下:
sudo docker run -d --gpus=all -v ./data:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
制作成docker-compose 文件管理镜像
version: '3.8'services:ollama:image: ollama/ollamacontainer_name: ollamarestart: alwaysvolumes:- ./data:/root/.ollamaports:- "11434:11434"
安裝部署open-webui镜像
- Open WebUI Github
- Open WebUI Document
echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
source ~/.bashrc
拉取并启动镜像
- 启动
docker会先拉取镜像，再启动
sudo docker run --network=host -v /work/open-webui/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
制作成docker-compose 文件管理镜像
version: '3.8'services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: open-webuirestart: alwaysnetwork_mode: hostvolumes:- /work/open-webui/open-webui:/app/backend/dataenvironment:- OLLAMA_BASE_URL=http://127.0.0.1:11434# Optionally add ports or other configurations if neededports:- "8080:8080"
启动镜像
sudo docker-compose up
进入设置界面，配置ollama服务地址
链接过程中遇到故障 服务器连接问题
下载模型
进入到 open-webui的主页，点击 + 号，添加模型
搜索模型，输入deepseek-r1:32b，或其他版本的模型，下载模型需要等待，请耐心等待模型下载完整。
开始进入搜嘎模型：
END
