环境准备
Docker
Ollama
Open-WebUi
Ollama
下载地址：Ollama
docker安装ollama
docker run -d \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollama下载模型
Ollama模型仓库
# 示例：安装deepseek-r1:7b
docker exec -it ollama ollama run deepseek-r1:7b# 下载完成会进入到模型界面，按ctrl+d退出
高级设置：Ollama使用GPU加速
安装驱动
参考教程
安装 NVIDIA Container Toolkit 软件包
Ollama使用GPU加速
# 配置存储库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo# 安装 NVIDIA Container Toolkit 软件包
yum install -y nvidia-container-toolkit# 配置 Docker 以使用 Nvidia 驱动程序
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker# 启动ollama容器，添加参数--gpus=all
docker run -d \
--gpus=all \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollamaOpen-WebUi
官方文档
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
--gpus all \
-v /data/open-webui/data:/app/backend/data \
--name open-webui ghcr.io/open-webui/open-webui:main# 设置账号和邮箱
