llm-server-docs Docker 快速上手从安装到 app-net 私有网络5 步完整跑通大模型 GPU 容器【免费下载链接】llm-server-docsEnd-to-end documentation to set up your own local fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.项目地址: https://gitcode.com/gh_mirrors/ll/llm-server-docsllm-server-docs 是一套在 Debian 上从零搭建本地、完全私有的 LLM 大模型服务器的端到端文档软件栈覆盖聊天平台、网页搜索、RAG、模型管理、MCP 服务器、图像生成与 TTS。本文带你快速完成其中最关键的一环——Docker 容器化部署安装 Docker Engine、启用 GPU 支持、创建 app-net 私有网络并用一条命令跑通大模型 GPU 容器。如架构图所示整个私有 LLM 服务器由多个 Docker 容器拼装而成推理引擎、模型服务器、聊天平台、搜索与 MCP 工具服务。我们即将创建的app-net私有网络就是把它们安全串起来的关键。开始之前3 个环境要求 一台装有 Debian 的机器其他 Linux 发行版步骤相近GPU 驱动已安装终端运行nvidia-smi能看到显卡基本的 Linux 终端操作能力AMD 显卡或纯 CPU 方案同样适用只是可跳过 GPU 限功耗相关步骤。第一步Debian 快速安装 Docker Engine先清理可能存在的旧版本避免依赖冲突for pkg in docker.io docker-doc docker-compose podman-docker containerd runc; do sudo apt purge $pkg; done添加官方软件源并安装 Dockersudo apt update sudo apt install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod ar /etc/apt/keyrings/docker.asc sudo tee /etc/apt/sources.list.d/docker.sources EOF Types: deb URIs: https://download.docker.com/linux/debian Suites: $(. /etc/os-release echo $VERSION_CODENAME) Components: stable Signed-By: /etc/apt/keyrings/docker.asc EOF sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin验证服务状态显示active (running)即成功sudo systemctl status docker 如果服务没有启动手动拉起sudo systemctl start docker第二步3 条命令实现免 sudo 使用 Docker把当前用户加入docker组并立即生效sudo usermod -aG docker $USER newgrp docker docker ps -a⚠️ 注意docker组的权限约等于 root只把可信用户加入该组。若不做这一步之后每条 docker 命令前都要加sudo。第三步安装 Nvidia Container Toolkit让容器用上 GPUDocker 容器默认看不到显卡。Nvidia Container Toolkit 让容器可以按需分配/释放显存是跑大模型 GPU 容器的前提。按 Nvidia 官方指南添加 nvidia-container-toolkit 软件源Debian 下是一条curl命令安装工具包并重启 Docker 守护进程sudo apt update sudo apt install -y nvidia-container-toolkit sudo systemctl restart docker 若nvidia-smi提示无法与驱动通信可在 BIOS 中关闭 Secure Boot 后重试。第四步创建 app-net 私有网络让容器安全互通为什么要用私有网络把多个容器放进同一个 Docker 网络后它们可以直接用容器名互相访问而不必在防火墙UFW上为每个服务开放端口——攻击面更小、配置更干净。一条命令创建网络名字可自定本文统一叫app-netdocker network create app-net两种接入方式Docker Run命令里加参数--network app-netDocker Compose声明为外部网络services: some-service: networks: - app-net networks: app-net: external: true验证容器互通从 open-webui 容器访问 llama-swap 的/health端点docker exec -i open-webui curl http://llama-swap:8080/health⚠️ 高频踩坑网络内互访要用容器的内部端口而不是宿主机映射端口。例如映射1111:8080时宿主机访问1111而 app-net 内必须访问8080。记住这一点能省掉大量为什么连不上的排查时间。第五步一条命令跑通大模型 GPU 容器 以模型服务器 llama-swap 为例--gpus all即启用 GPUdocker run -d --gpus all --restart unless-stopped --network app-net \ --pullalways --name llama-swap -p 9292:8080 \ -v /path/to/models:/models \ ghcr.io/mostlygeek/llama-swap:cuda将/path/to/models换成你的模型目录完整的config.yaml与容器参数见仓库 README 的 Model Server 章节。验证是否跑通curl http://localhost:9292/health docker ps -a # 状态为 Up 即成功看到Up且 health 接口返回正常恭喜你的大模型 GPU 容器已经在 app-net 私有网络里运转起来了 容器安全加固9 个速记要点 无论服务是否对外公开给容器收紧权限永远不亏。完整指南与可直接粘贴的 Compose 加固块在docs/docker-security.md。核心思想是最小权限原则——容器只得到它干活所需的那一点点权限用普通用户而非 root 运行容器文件系统设为只读read_only: true按需微调限制 CPU / 内存 / 进程数上限禁用tty与stdin杜绝交互式 shell禁止容器自我提权no-new-privilegestrue丢弃全部默认能力cap_drop: [ALL]按需加回限制日志文件数量与大小防日志炸弹/tmp使用受限 tmpfs禁执行、限大小卷挂载尽量加:ro只读常用 Docker 排错命令清单 命令用途docker ps -a查看所有容器docker logs -f 名称实时跟踪日志CtrlC 退出docker restart 名称重启单个容器docker compose config --quiet校验 compose 文件语法docker compose down docker compose up -d重建服务docker network ls列出所有 Docker 网络 改了配置却不生效容器可能只是被重启而没有重建——先执行down up -d再排查其他问题。下一步把私有 LLM 服务器变得更完整本文只是完整软件栈的第一块拼图沿着仓库文档你还可以继续安装 Ollama / llama.cpp / vLLM 推理引擎三者如何取舍见docs/inference-engine-comparison.md部署 Open WebUI 聊天平台、SearXNG 搜索与 MCP 代理服务配置 UFW 防火墙与 Tailscale 远程访问用 Caddy 反向代理 Cloudflare DNS 自动签发 HTTPS安全地访问你的服务器完整方案见docs/remote-access.md【免费下载链接】llm-server-docsEnd-to-end documentation to set up your own local fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.项目地址: https://gitcode.com/gh_mirrors/ll/llm-server-docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考