llm-server-docs Ollama实战10分钟一键安装并暴露到局域网快速开启本地大模型对话【免费下载链接】llm-server-docsEnd-to-end documentation to set up your own local fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.项目地址: https://gitcode.com/gh_mirrors/ll/llm-server-docs想快速搭建自己的本地大模型服务器吗本篇基于开源项目llm-server-docs—— 一套在 Debian 上从零搭建本地、完全私有 LLM 服务器的端到端文档涵盖聊天界面、Web 搜索、RAG、模型管理、MCP 工具、图像生成与 TTS。下面我们将以Ollama作为推理引擎约 10 分钟完成一键安装并把 Ollama 暴露到局域网让家里每台设备都能与本地大模型对话对话数据 100% 留在你自己的机器上。准备工作硬件要求与前置条件检查项最低建议参考配置文档作者实测CPU任意现代 CPUIntel i5-12600KF内存16GB96GB DDR4存储50GB SSD1TB NVMeGPU可选8GB 显存更佳2× RTX 3090 24GBCPU 也能跑没有独显也可以跳过 GPU 驱动步骤即可小参数模型如 7B 量化版纯 CPU 也够用。开始前请确认一台已安装Debian并联网的服务器树莓派/旧台式机均可对 Linux 终端有基本操作能力nano、sudo等已为你的用户开通sudo权限并执行过系统更新步骤见项目根目录的README.md开头部分。一键安装 Ollama3 步部署本地推理引擎Ollama 是目前最易用的本地大模型推理引擎一条官方脚本即可完成安装并自动注册为systemd服务开机自启、后台运行支持 Nvidia/AMD 显卡也兼容纯 CPU。执行官方一键安装从 Ollama 官网复制一键安装命令粘贴到终端执行脚本会自动下载并装好依赖。验证安装ollama -v systemctl status ollama看到active (running)即代表 Ollama 服务已在后台运行 ✅⚠️ 如果是手动安装或未以服务方式运行需先执行ollama serve启动服务否则会提示could not connect to ollama app。暴露到局域网一行配置让全家设备可用默认情况下 Ollama 只监听本机127.0.0.1。把它绑定到0.0.0.0局域网内其他设备就能通过 API 调用你的本地大模型打开 systemd 覆盖配置systemctl edit ollama.service在[Service]段落下添加环境变量绑定所有网卡[Service] EnvironmentOLLAMA_HOST0.0.0.0重载并重启服务systemctl daemon-reload systemctl restart ollama在局域网内另一台设备手机/笔记本上验证curl http://服务器IP:11434/api/tags能返回 JSON哪怕是个空列表就说明 Ollama API 已对局域网开放 ✅服务默认端口说明Ollama API11434本地大模型推理接口OpenAI 兼容端点为/v1Open WebUI3000Web 聊天界面下一步部署 安全提示0.0.0.0只是允许所有接口访问真正的访问控制交给后文的UFW 防火墙只放行你家网段即可。拉取第一个模型立即开始与本地大模型对话模型管理是 Ollama 的强项之一pull/run两条命令即可上手ollama pull llama3 # 拉取一个轻量级开源模型首次下载需几分钟 ollama run llama3 用一句话介绍你自己第一次运行会加载模型到显存/内存之后对话速度会快很多。查看 GPU 是否参与推理watch -n 1 nvidia-smi可选增强部署 Open WebUI 聊天平台想要接近云端 AI 的网页聊天体验一条 Docker 命令即可部署 Open WebUI项目完整步骤见README.md的Chat Platform小节docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main浏览器打开http://服务器IP:3000创建账号后选择刚拉取的模型即可开聊也可在Admin Panel Settings Connections中启用 OpenAI API把 Base URL 指向http://localhost:11434/v1把任意 OpenAI 兼容应用接到你的本地大模型上。UFW 防火墙把 Ollama 端口安全地开放给局域网暴露到局域网不等于暴露给公网。用 Debian 自带的 UFW简易防火墙只放行你家网段对 Ollama 端口的访问完整防火墙方案见README.md的Firewall小节sudo apt install ufw # 先查看你的局域网网段形如 192.168.1.0/24 ip route show # 仅允许局域网访问 Ollama API 端口 sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcp sudo ufw enable sudo ufw status verbose⚠️ 启用 UFW 前务必先放行 SSH 端口22否则可能把自己挡在门外无头服务器尤其注意。常见问题排查Troubleshooting症状原因与解决could not connect to ollama app, is it running?服务未以ollama serve方式运行手动启动或改用官方脚本安装systemctl edit ollama.service报Permission denied手动创建目录与文件sudo mkdir -p /etc/systemd/system/ollama.service.d再编辑override.conf局域网其他设备连不上 11434确认已设置OLLAMA_HOST0.0.0.0并重启服务检查 UFW 是否放行 11434 端口GPU 未被使用nvidia-smi检查驱动Nvidia 用户可在 BIOS 中关闭 Secure Boot 后重试更完整的排错清单含 SearXNG、Docker 权限、vLLM 下载错误等见README.md的Troubleshooting小节。进阶路线从能对话到全能 AI 服务器跑通 Ollama 只是起点。llm-server-docs提供了完整的进阶路径推理引擎选型Ollama vs llama.cpp vs vLLM 的取舍详见docs/inference-engine-comparison.md配合 llama-swap 模型服务器可像切频道一样随时切换模型搜索与 RAG部署 SearXNG 元搜索引擎让本地大模型联网查证显著减少幻觉图像生成与 TTS接入 ComfyUI 与 Kokoro FastAPI一个界面同时拥有对话、生图、语音合成️容器安全Docker 加固指南见docs/docker-security.md远程访问结合 Tailscale 组网与 Caddy 反向代理出门在外也能安全地用上这台本地 LLM 服务器完整图文见docs/remote-access.md写在最后10 分钟、三组短命令你就拥有了一台数据完全私有、局域网全家共享的本地大模型服务器Ollama 一键安装 →OLLAMA_HOST0.0.0.0暴露局域网 → UFW 精准放行再按需叠加 Web 聊天、搜索、生图与语音。 接下来不妨从llama3换到你喜欢的更大模型把这台家用 AI 服务器玩出更多可能。【免费下载链接】llm-server-docsEnd-to-end documentation to set up your own local fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.项目地址: https://gitcode.com/gh_mirrors/ll/llm-server-docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考