1. 背景与核心概念为什么选择本地部署大模型在AI应用开发浪潮中许多开发者和企业都面临一个核心矛盾一方面希望利用大语言模型LLM强大的理解和生成能力来构建智能应用如智能客服、文档分析和代码助手另一方面又对使用公有云API心存顾虑担心数据隐私泄露、网络延迟、API调用成本不可控以及服务稳定性等问题。本地部署正是解决这一矛盾的关键路径。它将大模型的推理能力从云端“搬”到你的本地服务器或私有环境中实现了数据不出域、完全自主可控。而Dify、Ollama和DeepSeek这三个工具的组合为我们提供了一条高效、低成本且易于上手的本地化部署方案。Dify 一个开源的LLM应用开发平台。你可以把它理解为一个“可视化、低代码的AI应用工厂”。它提供了直观的界面让你无需编写大量后端代码就能通过拖拽组件的方式构建基于大模型的应用程序例如聊天机器人、知识库问答系统。Dify负责处理复杂的流程编排、上下文管理、知识库检索等任务。Ollama 一个专注于在本地运行大型语言模型的工具。它简化了模型下载、管理和运行的过程。通过简单的命令行你就可以拉取各种开源模型如 Llama 3、Qwen、DeepSeek 等并在本地启动一个类 OpenAI API 的服务。这相当于在你的电脑上建立了一个私有的“模型服务器”。DeepSeek 这里特指由深度求索公司开源的DeepSeek-Coder或DeepSeek系列模型。它们以出色的代码能力和推理能力著称并且完全开源、可商用。通过 Ollama我们可以轻松地在本地运行 DeepSeek 模型获得高质量的代码生成和文本理解服务。本教程的核心目标就是将这三大工具串联起来用 Ollama 在本地运行 DeepSeek 模型然后让 Dify 平台接入这个本地模型服务最终构建一个完全运行在本地环境、安全可靠的企业级知识库问答应用。整个过程清晰、步骤完整即使是刚接触AI应用的开发者也能在短时间内搭建起可用的原型。2. 环境准备与版本说明在开始动手之前请确保你的开发环境满足以下要求。本文将提供一个稳定、经过验证的版本组合作为示例但请根据你的实际情况进行微调。核心环境要求操作系统 Ubuntu 20.04/22.04 LTS 或 Windows 10/11 (WSL2 推荐) 或 macOS 12。本文将以Ubuntu 22.04为主要演示环境。Docker Docker Compose Dify 官方推荐使用 Docker 进行部署这是最便捷的方式。Docker 版本 20.10Docker Compose 版本 v2.0Ollama 最新稳定版即可。我们将从官网或镜像站下载。硬件资源内存 至少 16GB RAM。运行 7B 参数模型相对轻松若运行 70B 模型则需要更大内存。存储 至少 20GB 可用空间用于存放模型文件。GPU可选但推荐 拥有 NVIDIA GPU 并正确安装 CUDA 驱动可以极大提升推理速度。Ollama 会自动检测并使用 GPU。本文演示版本Dify:0.9.0(通过 Docker 镜像difyai/dify:0.9.0)Ollama:0.5.3DeepSeek 模型:deepseek-coder:6.7b(这是一个在代码任务上表现优异的 6.7B 参数模型对硬件要求友好)Docker:24.0.7Docker Compose:v2.23.0重要提示 软件和模型迭代迅速版本号可能随时更新。如果遇到问题请优先查阅各项目的官方 GitHub 仓库或文档。本文的重点是提供一套可复现的配置思路和流程版本差异通常不会影响主流程。3. 核心组件原理与工作流程拆解在进入实操前理解这三个组件如何协同工作至关重要。这能帮助你在遇到问题时快速定位。3.1 整体架构图我们可以用以下简单的交互流程来理解[用户浏览器] --(HTTP/WebSocket)-- [Dify 服务 (端口: 3000)] | | (Dify 内部调用) V [Dify 核心] --(通过配置的API地址调用)-- [Ollama 服务 (端口: 11434)] | | (Ollama 加载并运行) V [DeepSeek 模型文件]3.2 组件职责详解Ollama 的角色模型仓库 从镜像源如ollama.com或国内镜像拉取模型文件如deepseek-coder:6.7b。模型服务器 运行ollama serve后会在本地11434端口启动一个 RESTful API 服务。这个 API 高度兼容OpenAI API 格式这是它能被 Dify 等众多工具识别的关键。运行时管理 管理模型的加载、卸载、推理计算利用CPU/GPU。Dify 的角色应用编排器 提供图形化界面让你设计“用户提问 - 知识库检索 - 模型生成 - 返回答案”的工作流。模型连接器 在 Dify 的后台配置中你需要添加一个“模型供应商”。这里我们将 Ollama 的 API 地址http://localhost:11434配置进去并指定模型名称deepseek-coder。知识库引擎 负责处理你上传的文档TXT, PDF, Word, Markdown等进行文本分割、向量化Embedding并存储到向量数据库如 PostgreSQL pgvector实现基于语义的检索。DeepSeek 模型的角色大脑 接收 Dify 传递过来的、拼接了知识库上下文和用户问题的提示词Prompt进行理解和推理生成最终的回复文本。3.3 关键配置点理解以下两点能解决90%的集成问题API 兼容性 Ollama 提供的/v1/chat/completions接口与 OpenAI 接口一致因此 Dify 在配置时可以选择“OpenAI”或“Ollama”作为供应商类型。网络连通性 Dify 服务运行在 Docker 容器内需要能访问到主机Host上 Ollama 服务的11434端口。在 Docker 环境下通常使用host.docker.internalMac/Windows或172.17.0.1Linux Docker 桥接网络默认网关来指向宿主机。4. 完整实战三步搭建本地知识库系统接下来我们进入最核心的实战环节。请按照顺序执行以下步骤。4.1 第一步部署 Ollama 并运行 DeepSeek 模型4.1.1 安装 Ollama在 Linux/macOS 终端或 Windows WSL2 中执行一键安装脚本curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。你可以通过以下命令检查状态systemctl status ollama # Linux systemd # 或 ollama serve # 如果未运行手动启动服务4.1.2 配置国内镜像加速可选但强烈推荐由于直接从官方拉取模型可能很慢我们可以配置环境变量使用国内镜像。# 在当前终端会话中设置代理临时 export OLLAMA_HOST0.0.0.0 export OLLAMA_MODELS/path/to/your/models # 可选指定模型存放路径 # 更推荐修改 Ollama 的服务配置文件持久化 # 对于 systemd 系统如 Ubuntu sudo vim /etc/systemd/system/ollama.service在[Service]部分添加环境变量例如使用某个镜像站EnvironmentOLLAMA_HOST0.0.0.0 EnvironmentOLLAMA_MODELS/home/username/models # 注意国内镜像地址需自行寻找可靠源此处不提供具体地址。保存后重载配置并重启服务sudo systemctl daemon-reload sudo systemctl restart ollama4.1.3 拉取并运行 DeepSeek 模型这里我们选择deepseek-coder:6.7b模型它在代码任务上表现突出且尺寸适中。# 拉取模型 ollama pull deepseek-coder:6.7b # 这个过程会下载数GB的文件请耐心等待。 # 你可以运行一个简单对话来测试模型是否正常工作 ollama run deepseek-coder:6.7b在交互界面中输入“用Python写一个快速排序函数”观察模型输出。按CtrlD退出交互模式。4.1.4 验证 Ollama API 服务模型拉取成功后Ollama 的 API 服务默认已在http://localhost:11434运行。我们可以用curl命令测试其 OpenAI 兼容接口curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-coder:6.7b, messages: [ { role: user, content: 你好请自我介绍 } ], stream: false }如果返回一个包含模型回复的 JSON 对象说明 Ollama 服务及模型运行正常。4.2 第二步使用 Docker 部署 Dify4.2.1 获取 Dify 部署文件Dify 提供了标准的docker-compose.yml文件方便一键启动所有依赖服务包括前端、后端、数据库等。# 创建一个工作目录并进入 mkdir dify-local cd dify-local # 下载 docker-compose 配置文件 wget https://github.com/langgenius/dify/blob/main/docker/docker-compose.yaml # 或者使用 curl curl -o docker-compose.yaml https://raw.githubusercontent.com/langgenius/dify/main/docker/docker-compose.yaml4.2.2 启动 Dify 服务在包含docker-compose.yaml的目录下执行docker-compose up -d这个命令会在后台拉取必要的 Docker 镜像如 PostgreSQL, Redis, Nginx, Dify 自身等并启动容器。首次启动可能需要几分钟。使用以下命令查看日志和状态docker-compose logs -f # 查看实时日志 docker-compose ps # 查看容器状态确保所有服务都是 ‘Up’ 状态4.2.3 访问 Dify 并初始化当所有容器运行正常后在浏览器中打开http://你的服务器IP:3000。首次访问会进入初始化页面设置管理员账号和密码。设置完成后使用刚创建的账号登录进入 Dify 控制台。4.3 第三步在 Dify 中配置 Ollama 模型并创建知识库应用这是将两者连接起来的关键步骤。4.3.1 配置模型供应商在 Dify 控制台点击左下角“设置”-“模型供应商”。点击“添加模型供应商”在列表中找到“Ollama”并点击。如果列表中没有可以选择“OpenAI”或“自定义”因为 API 格式兼容。在配置页面填写以下信息模型类型 文本生成模型 (Text Generation)模型名称 自定义一个名字如Local-DeepSeek-Coder模型ID 填写你在 Ollama 中使用的模型名deepseek-coder:6.7bAPI 密钥 留空即可Ollama 本地服务通常无需密钥API 基础地址这是最关键的一步如果你的 Dify 和 Ollama 运行在同一台主机上且 Ollama 服务绑定到了0.0.0.0那么对于 Docker 容器内的 Dify需要访问宿主机的服务。地址应填写Linux Docker 默认桥接网络http://172.17.0.1:11434(这是一个常见的宿主机网关地址)Mac/Windows Docker Desktophttp://host.docker.internal:11434你可以进入 Dify 的后端容器内部测试连通性docker exec -it dify-api-1 /bin/bash # 容器名可能不同请用 docker-compose ps 查看 curl http://172.17.0.1:11434/v1/models # 测试是否能访问 Ollama其他参数 如上下文长度、推理参数等可根据需要调整初次使用可保持默认。点击“保存”。保存后可以点击“测试”按钮验证连接是否成功。如果显示测试通过恭喜你模型已经接入成功4.3.2 创建知识库应用回到 Dify 控制台首页点击“创建新应用”。选择“知识库问答”应用类型。为应用命名例如公司内部技术文档助手。进入应用构建界面后主要配置两个部分提示词编排 系统会提供一个默认提示词你可以根据需求修改例如“你是一个专业的IT技术支持助手请根据提供的知识库文档准确、简洁地回答用户的问题。如果文档中没有相关信息请如实告知。”模型选择 在对话节点中选择模型。点击模型选择框你应该能看到刚才配置的Local-DeepSeek-Coder选择它。4.3.3 上传文档并构建知识库在应用构建界面找到左侧或下方的“知识库”模块点击“添加知识库”或“上传文件”。你可以上传 TXT、PDF、Word、Markdown、HTML 等格式的文档。Dify 会自动进行文本解析和分割。上传完成后点击“构建”或“处理”。Dify 会调用其内置的 Embedding 模型默认为text-embedding-ada-002的本地替代方案将文本块转换为向量并存储到向量数据库中。构建成功后知识库状态会变为“可用”。4.3.4 测试与应用发布在应用界面的右侧找到对话测试窗口。输入一个与你上传文档相关的问题例如如果你上传了公司API文档可以问“如何获取用户信息的接口是哪个”观察回复。Dify 会先从知识库中检索相关片段然后将“检索结果”和“用户问题”一起组合成最终的提示词发送给本地的 DeepSeek 模型并将模型的回复返回给你。测试无误后你可以点击“发布”将应用生成一个可公开访问的链接或集成到你的网站/产品中。5. 常见问题与排查思路 (FAQ)在部署过程中你可能会遇到以下问题。这里提供了系统的排查思路。问题现象可能原因排查步骤与解决方案Ollama 拉取模型极慢或失败网络连接问题特别是连接到国外源。1. 检查网络连通性。2.配置国内镜像源至关重要。搜索可靠的 Ollama 国内镜像通过环境变量OLLAMA_HOST或修改服务配置指向镜像站。3. 使用代理在合法合规前提下。Dify 测试模型连接失败1. Ollama 服务未运行。2. API 地址配置错误。3. 防火墙/端口限制。4. Docker 网络不通。1.systemctl status ollama或ollama list确认服务运行。2.在 Dify 容器内执行curl http://[API地址]/v1/models这是最直接的测试方法。3. 确认 Ollama 监听地址是0.0.0.0:11434而非127.0.0.1:11434。4. Linux下尝试http://172.17.0.1:11434 Mac/Windows下尝试http://host.docker.internal:11434。Dify 知识库构建失败1. 文档格式解析错误。2. Embedding 模型下载失败。3. 向量数据库PostgreSQL连接问题。1. 查看 Dify 后端容器日志docker-compose logs dify-api。2. 尝试上传纯文本.txt文件测试。3. 检查docker-compose.yaml中 PostgreSQL 服务是否正常启动。4. 在 Dify 设置中检查 Embedding 模型配置可尝试切换为其他开源 Embedding 模型。模型响应速度非常慢1. 硬件资源CPU/内存不足。2. 未使用 GPU 加速。3. 模型参数过大。1. 使用htop或nvidia-smi监控资源使用情况。2. 确保 Ollama 能检测到 GPUollama run deepseek-coder:6.7b时观察输出是否有“GPU acceleration: enabled”类似信息。3. 考虑换用更小的模型如deepseek-coder:1.3b或qwen:7b。应用回答与知识库内容无关1. 知识库检索相关度阈值设置不当。2. 提示词Prompt未正确引导模型使用上下文。3. 文本分割块chunk大小不合理。1. 在 Dify 知识库配置中调整“相似度阈值”和“召回数量”。2.优化提示词明确指令如“请严格依据以下背景资料回答问题{{#context#}} ... {{/context#}}”。3. 调整知识库的文本分割规则尝试不同的块大小和重叠度。6. 最佳实践与工程建议将系统跑起来只是第一步要将其用于实际生产或严肃开发还需要遵循以下最佳实践。6.1 安全与权限最小化暴露 Ollama 服务默认监听0.0.0.0。在生产环境中应通过防火墙规则或 Docker 网络配置严格限制其访问来源仅允许 Dify 后端所在的容器或IP段访问11434端口。Dify 访问控制 为 Dify 设置强密码并妥善管理用户权限。Dify 支持团队协作和角色管理为不同成员分配适当的应用开发、知识库管理权限。数据备份 定期备份 Dify 使用的 PostgreSQL 数据库。这包含了你的所有应用配置、知识库元数据和对话历史。可以使用docker-compose exec db pg_dump命令进行备份。6.2 性能与稳定性GPU 加速 对于7B及以上参数的模型GPU 加速是体验的质变。确保你的 Ollama 版本支持 CUDA并正确安装 NVIDIA Container Toolkit使 Docker 容器也能使用 GPU。模型选择 不是模型越大越好。deepseek-coder:6.7b在代码任务上已非常出色且资源消耗适中。对于纯中文对话场景qwen:7b或chatglm3:6b可能是更优选择。根据你的硬件和任务需求进行选型。资源监控 使用docker stats监控容器资源占用。为关键容器如dify-api,ollama设置资源限制CPU, Memory防止单个服务耗尽所有资源。服务高可用 对于生产环境考虑将 Ollama 和 Dify 部署在独立的服务器或容器编排平台如 Kubernetes上并配置健康检查和重启策略。6.3 配置与维护版本固化 在docker-compose.yaml中为 Dify 镜像指定明确的版本号如difyai/dify:0.9.0避免自动升级到不兼容的新版本。配置分离 将 Docker Compose 文件中的环境变量如数据库密码、密钥移出到.env文件中并通过env_file指令引入避免敏感信息泄露。日志管理 配置 Docker 的日志驱动和轮转策略防止日志文件占满磁盘。定期查看日志及时发现错误。知识库优化文档预处理 上传前尽量清理文档格式去除无关的页眉页脚、水印。分块策略 根据文档类型调整分块大小。技术文档可能适合较小的块如 256 tokens而长篇文章可能适合较大的块如 512 tokens。适当的重叠如 50 tokens可以避免上下文断裂。多知识库 为不同的主题或部门创建独立的知识库在应用编排时灵活选用提高检索精度。6.4 进阶扩展使用本地 Embedding 模型 Dify 默认可能使用在线 Embedding 服务。为了完全本地化你可以在设置中配置开源的 Embedding 模型如bge-large-zh-v1.5并通过 Ollama 或单独的模型服务来运行。接入更多模型 Ollama 支持数十种开源模型。你可以在同一台服务器上运行多个模型实例需注意端口冲突并在 Dify 中配置多个模型供应商让不同的应用使用不同的模型。自定义应用逻辑 Dify 提供了“工作流”编排功能你可以设计更复杂的逻辑例如先调用一个模型进行问题分类再根据分类结果从不同的知识库检索最后调用另一个模型进行总结和润色。遵循以上步骤和建议你不仅能够成功搭建一个本地化的企业级知识库系统还能为其长期稳定、安全、高效的运行打下坚实基础。这套组合方案的优势在于其高度的自主可控性和灵活性你可以根据业务需求持续迭代和优化每一个环节。