模型变成了服务服务怎么交到用户手里部署就是这最后一公里的问题。Docker 容器化、私有化部署满足安全合规要求、本地部署保护数据隐私——三种主流部署方式各有各的场景。 目录Docker标准化的交付方式私有化部署企业的刚需本地部署隐私优先的选择三种部署方式对比部署架构推荐Docker标准化的交付方式一句话定义将 AI 应用及其所有依赖打包成一个标准化容器保证「在我机器上能跑」等于「在任何地方都能跑」。# 典型的 RAG 应用 Dockerfile FROM python:3.11-slim WORKDIR /app # 安装依赖 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt \ pip install torch --index-url https://download.pytorch.org/whl/cpu # 复制代码 COPY . . # 暴露端口 EXPOSE 8000 # 启动服务 CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000]# docker-compose.yml 一键编排全栈version:3.8services:rag-app:build:.ports:-8000:8000environment:-OPENAI_API_KEY${OPENAI_API_KEY}-VECTOR_DB_HOSTvector-dbdepends_on:-vector-dbvector-db:image:milvusdb/milvus:latestvolumes:-milvus_data:/var/lib/milvusports:-19530:19530volumes:milv_data:Docker 在 AI 部署中的坑坑解决方案镜像太大模型文件用多阶段构建模型运行时挂载卷不打包进镜像GPU 支持使用 NVIDIA Container Toolkit内存不足限制容器内存 OOM 处理策略存储持久化数据库/向量库务必挂载 volume私有化部署企业的刚需一句话定义将整套 AI 系统部署在企业自己的服务器/云环境里数据不出内网满足安全合规要求。为什么企业必须私有化部署公有云 API如直接调 GPT-4的问题 ✗ 数据发给 OpenAI → 可能泄露商业机密 ✗ 无法审计谁问了什么 → 合规风险 ✗ 依赖外网 → 网络不稳定影响业务 ✗ 费用不可控 → 大规模使用成本爆炸 ✗ 模型不可控 → 厂商随时可能调整/下线 私有化部署的优势 ✓ 数据完全在内网 → 安全合规有保障 ✓ 全量日志审计 → 谁用了、问什么、一清二楚 ✓ 无网络依赖 → 内网隔离环境也能用 ✓ 成本可控 → 一次投入无限使用 ✓ 模型可控 → 可以微调定制不怕厂商变卦私有化部署架构┌──────────────────────────────────────────┐ │ 企业内网环境 │ │ │ │ ┌──────────┐ ┌──────────┐ ┌────────┐ │ │ │ 应用层 │ │ 服务层 │ │ 存储层 │ │ │ │ │ │ │ │ │ │ │ │ Web 前端 │ │ vLLM │ │ Milvus │ │ │ │ API网关 │ │ TGI │ │ PGpgv │ │ │ │ 监控面板 │ │ FastAPI │ │ 文件存 │ │ │ └──────────┘ └──────────┘ └────────┘ │ │ │ │ │ │ │ └─────────────┼────────────┘ │ │ ↓ │ │ ┌──────────────┐ │ │ │ GPU 服务器群 │ │ │ │ (A100×4) │ │ │ └──────────────┘ │ │ │ │ 安全内网隔离 RBAC权限 操作审计 │ └──────────────────────────────────────────┘本地部署隐私优先的选择一句话定义在个人电脑上运行完整的 LLM 和 AI 应用不需要联网数据完全在本地。适合对隐私敏感的个人开发者和中小企业。本地部署方案对比方案硬件要求易用性适合谁OllamaMac/Win/Linux⭐⭐⭐⭐⭐所有人一键安装LM Studio有显卡更好⭐⭐⭐⭐⭐GUI 偏好者llama.cpp任意设备⭐⭐⭐技术用户GPT4All任意设备⭐⭐⭐⭐Windows 用户LocalAI需要 GPU⭐⭐⭐替代 OpenAI API# Ollama — 最简单的本地部署方案# 安装brew install ollama (Mac) / 下载安装包 (Windows/Linux)# 运行模型ollama run llama3:8b# 对话模式ollama run qwen2.5:7b# 国产模型ollama run codellama:7b# 代码专用# 作为 API 服务使用兼容 OpenAI APIollama serve# 然后你的代码只需要改 base_urlcurlhttp://localhost:11434/v1/chat/completions\-d{model:llama3,messages:[{role:user,content:hi}]}# → 和调 OpenAI API 的代码几乎一模一样只需改 base_url三种部署方式对比维度Docker 容器化私有化部署本地部署目标用户DevOps/运维团队企业 IT个人/小团队硬件需求服务器/GPU 云服务器集群个人电脑安全性中等取决于环境最高内网隔离最高离线维护成本低标准化高需专业团队低扩展性好K8s 编排最好按需扩差单机典型场景SaaS 产品 / 微服务金融 / 政府 / 医疗开发测试 / 隐私敏感部署架构推荐根据你的阶段选方案 POC 验证期 → 本地部署Ollama 简单 Python 脚本 → 快速验证想法成本 ≈ 0 内部试用期 → Docker Compose 编排应用向量库vLLM → 单机或多机部署在小团队服务器 生产发布期 → Kubernetes 私有化部署 → GPU 节点池 弹性伸缩 监控告警 → SLA 保障 灾备方案 关键原则 不要一步到位先跑起来 → 再优化 → 再规模化❌ 常见误区❌ Docker 就是部署的全部 — 生产环境还需要 CI/CD、监控、日志、备份等完整链路❌ 私有化部署 安全 — 还需要网络隔离、访问控制、审计日志等配套措施❌ 本地部署只能跑小模型 — M2 Max 128GB 可以流畅跑 70B 量化版