1. 先搞清楚 Ollama 和 Codex 到底能帮你做什么如果你在找一种能在自己电脑上跑起来、能写代码、能回答问题并且能和 VS Code 这类开发工具无缝集成的 AI 助手那 Ollama 搭配 Codex 这个组合就值得你花时间研究一下。它解决的核心问题很简单让你在本地离线或内网环境下拥有一个功能接近云端大模型的编程助手不用再担心网络延迟、隐私泄露或者 API 调用费用。Ollama 本身是一个轻量级的框架专门用来在本地运行和部署各种开源大语言模型。它把模型下载、环境配置、服务启动这些麻烦事都打包好了你只需要几条命令就能让一个模型跑起来。而 Codex 通常指的是一个能集成到 VS Code 等 IDE 里的 AI 编程插件它本身不提供模型但可以配置成使用 Ollama 启动的本地模型服务作为后端。这样一来你在 VS Code 里写代码时得到的代码补全、解释、注释生成这些智能帮助就完全来自于你本地运行的模型数据不出本地。最值得关注的点有两个一是部署门槛相对较低Ollama 对 Windows、macOS、Linux 都有很好的支持不需要你从零开始配 CUDA、装一堆深度学习库二是灵活性高你可以随时切换不同的模型比如今天用 DeepSeek-Coder 写 Python明天换 CodeLlama 写 JavaScript模型文件都放在本地切换就是改个配置的事。不过它最关键的落地价值不是功能列表有多长而是你能不能在自己的开发环境里稳定、流畅地用起来。2. 部署前先确认你的机器能不能跑得动在动手下载任何东西之前先评估一下你的硬件环境。这不是制造焦虑而是为了避免你折腾半天最后发现模型根本加载不起来或者一运行就卡死。本地部署大模型硬件是硬门槛。核心看三点内存、显存和磁盘空间。CPU 和内存如果你的电脑没有独立显卡GPU或者显卡显存很小比如小于 4GB那么模型会完全运行在 CPU 上。这时内存RAM就是关键。一个 7B 参数量的模型在 CPU 模式下运行通常需要 8GB 以上的空闲内存才能比较流畅。如果是 13B 或更大的模型16GB 内存是起步价。在任务管理器中看到内存占用飙升是正常现象。GPU 和显存如果有 NVIDIA 显卡Ollama 会自动尝试利用 GPU 来加速这能极大提升响应速度。显存大小直接决定了你能运行多大的模型。一个经验法则是模型参数量单位B乘以 2得到的数字单位GB大致是加载所需的最小显存。例如一个 7B 模型大概需要 14GB 显存不对这个经验公式过于粗略且不准确。更实际的情况是经过量化的模型比如 4-bit 或 8-bit 量化显存占用会大幅下降。7B 量化模型如 Q4_K_M通常在 4-6GB 显存左右可以流畅运行。13B 量化模型可能需要 8-12GB 显存。34B 及以上模型没有 16GB 以上显存会比较吃力通常需要借助 CPU 和内存进行混合推理。 所以先看看你的显卡显存是多少。在 Windows 上可以按Win X打开设备管理器查看“显示适配器”在 Linux 上可以用nvidia-smi命令。磁盘空间模型文件很大。一个 7B 的量化模型大概 4-6GB一个 13B 的模型可能 8-10GB更大的模型动辄几十 GB。确保你的安装盘尤其是 Ollama 默认的模型存储目录有足够的空间。我建议至少预留 20GB 的可用空间。软件环境准备操作系统主流系统都支持。Windows 10/11 macOS Ubuntu/Debian/CentOS 等 Linux 发行版均可。容器运行时可选但推荐Ollama 本身打包了所有依赖但如果你在 Linux 上并且系统已经安装了 Docker它会运行得更“干净”。Windows 和 macOS 的安装包通常已经包含了所需的一切。注意如果你的网络环境访问国外资源较慢会遇到“ollama下载太慢了”的问题。这不是 Ollama 的问题而是拉取模型仓库时的网络问题。解决方案不是死等而是配置国内镜像源这一步我们后面会详细说。3. 分步走安装 Ollama 并拉取第一个模型别想着一步到位把所有模型都下下来。我们的目标是先让整个流程跑通。所以第一步是安装 Ollama 本体并成功运行一个最小的模型。3.1 下载与安装 Ollama访问 Ollama 官网请注意根据你的网络环境可能需要寻找可访问的地址选择对应你操作系统的安装包。Windows/macOS直接下载.exe或.dmg安装包像安装普通软件一样安装。安装完成后通常会在后台启动一个服务。Linux官网提供了一行安装命令在终端中执行即可。例如curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。安装完成后打开终端Windows 可用 PowerShell 或 CMDmacOS/Linux 用系统终端输入ollama --version如果能看到版本号说明安装成功。3.2 解决模型下载慢的问题配置镜像源这是国内用户最常见的“拦路虎”。Ollama 默认从官方仓库拉取模型速度可能很慢甚至失败。我们需要配置镜像源。Ollama 通过环境变量OLLAMA_HOST和OLLAMA_MODELS来配置但更通用的方法是修改它的配置文件或直接使用镜像站提供的命令。方法一通过环境变量临时在终端中执行以 Linux/macOS 为例export OLLAMA_HOSTmirror.ollama.com然后你再运行ollama run命令它会尝试从镜像站拉取。但这个方法不是所有镜像站都支持且重启终端后失效。方法二使用镜像站提供的加速命令推荐一些国内的镜像站提供了更直接的加速方式。例如你可以尝试在拉取模型时在模型名前加上镜像站地址。请注意由于网络环境复杂我无法提供具体的、当前可用的镜像站地址。你需要自行搜索可靠的、合规的国内开源镜像站或社区查找它们对 Ollama 模型仓库的镜像使用说明。通常这些社区会提供类似以下的用法ollama run registry.mirror-site.com/library/模型名:标签但这需要镜像站确实同步了该模型库。方法三手动下载模型文件终极方案如果以上方法都不可行你可以去 Hugging Face 等开源模型平台手动搜索并下载对应模型的.gguf格式文件这是 Ollama 支持的格式之一。下载完成后使用ollama create命令从本地文件创建模型。例如ollama create my-model -f ./Modelfile其中Modelfile是一个文本文件里面指定了模型文件的路径和参数。这种方式最稳定但需要你了解模型格式和基本配置。3.3 运行你的第一个模型我们从一个小模型开始比如tinyllama或phi它们体积小下载快适合验证环境。ollama run tinyllama第一次运行会先下载模型。如果配置了正确的镜像源下载速度会快很多。下载完成后会自动进入一个交互式对话界面。你可以输入Hello看看它是否能正常回复。输入/bye退出。恭喜到这一步你已经成功在本地部署了一个大语言模型。但这只是个开始我们还需要让它变得有用。4. 模型配置与管理不只是下载和运行Ollama 的核心能力之一是灵活的模型管理。你不可能只用一个模型。4.1 查看、拉取与删除模型查看本地已有模型ollama list拉取新模型ollama pull 模型名。例如拉取一个代码能力较强的模型ollama pull deepseek-coder:6.7b-instruct-q4_K_M。这里的deepseek-coder是模型名6.7b-instruct是版本q4_K_M是量化精度4-bit中等质量。量化精度越低模型体积越小、运行越快但精度可能略有损失。对于本地部署Q4 通常是速度和质量的较好平衡。删除模型ollama rm 模型名。这就是解决“ollama删除模型命令”搜索需求的操作。注意删除前请确认因为模型文件很大重新下载耗时。4.2 运行与切换模型交互式运行ollama run 模型名。这会进入该模型的专属对话会话。作为服务运行Ollama 安装后默认会在localhost:11434启动一个 API 服务。这才是我们集成 Codex 的关键。你可以通过curl命令来测试这个 API 是否正常curl http://localhost:11434/api/generate -d { model: deepseek-coder:6.7b-instruct, prompt: 写一个Python函数计算斐波那契数列, stream: false }如果返回了一段 JSON里面包含生成的文本说明 API 服务正常。4.3 自定义与配置模型参数你可以通过创建Modelfile来定制模型。比如你想基于一个基础模型设定固定的系统提示词system prompt或者调整默认参数。创建一个名为Modelfile的文件内容如下FROM deepseek-coder:6.7b-instruct # 设置系统角色让模型更专注于代码 SYSTEM “你是一个专业的代码助手只回答与编程相关的问题。” # 设置参数 PARAMETER temperature 0.2 PARAMETER num_ctx 4096用这个文件创建一个新模型ollama create my-coder -f ./Modelfile运行你的自定义模型ollama run my-coder。这样你就拥有了一个专门为代码调试定制的模型实例。5. 集成 Codex让本地模型在 VS Code 里干活现在本地模型服务已经就绪在localhost:11434。接下来就是让 VS Code 的 AI 插件能连接上这个服务。这里说的“Codex”是一个泛指可能是Claude Code、Codeium、Tabnine或是其他支持自定义后端Custom Provider的 VS Code AI 扩展。我们以配置一个支持自定义 OpenAI API 兼容端口的插件为例因为 Ollama 的 API 与 OpenAI 的chat/completions接口是部分兼容的。5.1 安装支持自定义后端的 VS Code 扩展在 VS Code 扩展商店中搜索 “Codeium”、“Continue”、“Tabnine” 或 “Claude Code”。关键是要查看扩展的描述确认它是否支持配置自定义的 API 端点Custom Endpoint / Self-hosted / Local Server。我们假设你安装了一个名为 “Local AI Assistant” 的扩展这是一个示例名称请根据实际扩展调整。5.2 配置扩展连接本地 Ollama这是核心步骤很多问题都出在这里。在 VS Code 中打开设置Ctrl,或Cmd,。搜索你安装的扩展名找到其设置项。通常会有一个名为API Endpoint、Server URL或Base Path的配置。将其值设置为http://localhost:11434/v1。注意Ollama 的 OpenAI 兼容接口通常在/v1路径下。有些扩展可能只需要http://localhost:11434如果前者不行可以试试后者。找到API Key或Authentication配置。由于 Ollama 默认没有启用鉴权这里通常可以留空或者随意填写一个非空字符串如ollama。有些插件不允许空值填一个即可。最关键的一步配置模型名称。找到Model或Default Model设置。这里填的不是你在 Ollama 里看到的deepseek-coder:6.7b-instruct全称。对于 OpenAI 兼容接口通常只需要填写模型在 Ollama 中的“名字”部分即deepseek-coder。但为了保险起见你需要知道 Ollama 向兼容接口暴露的模型名。打开浏览器或curl访问http://localhost:11434/api/tags。这会返回一个 JSON列出所有可用的模型及其在 API 中的名称。例如你可能看到name: deepseek-coder:6.7b-instruct。那么在 VS Code 扩展的模型配置里你就应该填写deepseek-coder:6.7b-instruct。将扩展中的Model设置为你从/api/tags接口看到的准确名称。5.3 测试与切换模型配置完成后在 VS Code 中打开一个代码文件。尝试触发 AI 辅助功能比如代码补全、右键菜单中的解释代码等。如果没反应首先检查 Ollama 服务是否在运行。在终端输入ollama serve确保服务进程是活跃的。查看扩展日志大多数 AI 扩展都有输出日志面板。打开 VS Code 的输出面板View-Output选择对应扩展的日志查看是否有连接错误。常见的错误如“local proxy failed while handling codex endpoint /responses”或“connection refused”这都指向网络连接或端点配置错误。成功连接如果功能正常你就可以在 VS Code 里享受本地模型提供的代码建议了。如何切换模型首先在 Ollama 中拉取或确保你想要的模型如llama3.2:3b已存在。在 VS Code 扩展设置中将Model配置项的值改为新的模型名同样需要从http://localhost:11434/api/tags中确认其 API 名称。重启 VS Code或者重启该扩展。很多扩展的模型配置在运行时加载不重启可能不生效。6. 实战排错从报错信息到解决方案本地部署集成遇到问题是常态。别慌大部分问题都有清晰的排查路径。6.1 模型拉取失败或极慢现象ollama pull命令卡住不动或速度极慢几KB/s。排查确认网络尝试curl -I https://ollama.com看是否能连通官网。使用镜像源这是最可能的解决方案。如前所述寻找可用的国内镜像源。可以搜索“ollama国内镜像源”获取社区最新分享的地址。手动下载如果镜像源也不稳定果断去 Hugging Face 等平台下载.gguf文件用ollama create从本地创建。6.2 Ollama 服务启动失败现象执行ollama run或访问localhost:11434报错例如[ollama] error: req_id: ... plugin daemon internal server error: killed。排查权限问题Linux/macOS常见确保当前用户有权限运行和写入 Ollama 的目录通常是~/.ollama。可以尝试用sudo运行ollama serve测试但这不是长久之计最好修正目录权限。端口冲突11434 端口被其他程序占用。使用netstat -ano | findstr :11434(Windows) 或lsof -i :11434(macOS/Linux) 查看并终止占用进程或者修改 Ollama 的服务端口通过环境变量OLLAMA_HOST设置为0.0.0.0:11435等。资源不足内存或磁盘空间不足。检查任务管理器或df -h/free -h命令。模型文件损坏删除有问题的模型 (ollama rm model-name) 重新拉取。6.3 VS Code 扩展无法连接 Ollama现象扩展功能无响应日志报错connection refused,failed to fetch, 或invalid API key。排查Ollama 服务是否在运行终端执行ollama list看是否有输出。API 端点 URL 是否正确确认是http://localhost:11434/v1还是http://localhost:11434。用浏览器访问http://localhost:11434/api/tags测试。模型名是否正确再次从http://localhost:11434/api/tags获取准确的模型名并确保与扩展设置中完全一致包括可能的标签。防火墙/安全软件某些安全软件可能阻止 VS Code 访问本地端口 11434。尝试临时关闭防火墙测试。扩展配置页的“模型”下拉框为空这通常是因为扩展无法从你配置的端点成功获取模型列表。检查端点 URL 和鉴权API Key 留空或填任意值然后查看扩展日志。6.4 模型响应慢或效果不佳现象代码补全慢或者生成的代码质量不高。排查硬件瓶颈打开系统监控看 CPU/GPU 和内存占用是否饱和。如果是 CPU 模式响应慢是正常的。模型大小7B 模型比 13B/34B 模型快但代码能力可能弱一些。在速度和效果间权衡。量化等级q4_K_M比q8_0或fp16快但精度低。可以尝试拉取不同量化等级的同一模型对比。上下文长度num_ctx在Modelfile中或运行命令中设置num_ctx参数。太短影响长代码理解太长消耗更多资源且可能更慢。对于代码4096 或 8192 通常是合理的。7. 进阶使用与生产化思考当你完成了单机部署和 VS Code 集成可以开始考虑更稳定的使用方式。7.1 将 Ollama 作为后台服务在 Linux 服务器上你可能希望 Ollama 作为系统服务常驻。# 创建系统服务文件 sudo vim /etc/systemd/system/ollama.service文件内容示例[Unit] DescriptionOllama Service Afternetwork-online.target [Service] ExecStart/usr/local/bin/ollama serve User你的用户名 Group你的用户组 Restartalways RestartSec3 EnvironmentPATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin [Install] WantedBymulti-user.target然后启用并启动服务sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama sudo systemctl status ollama7.2 多模型管理与切换脚本如果你经常在不同项目间切换需要不同的模型可以写简单的 shell 脚本或使用 VS Code 的多配置工作区。Shell 脚本写一个脚本通过修改 VS Code 的设置文件settings.json或调用扩展的配置 API 来切换模型。VS Code 工作区为不同项目创建单独的工作区文件.code-workspace在每个工作区文件中指定不同的 AI 扩展模型设置。7.3 性能监控与优化使用ollama ps查看当前正在运行的模型实例及其资源占用。GPU 监控在 Linux 上结合watch -n 1 nvidia-smi实时查看 GPU 利用率。优化提示对于代码补全这种低延迟任务使用较小的模型如 3B, 7B和较低的temperature如 0.1可以获得更快、更确定性的结果。7.4 安全与隐私考量本地部署的最大优势是隐私。但如果你将 Ollama 服务绑定到0.0.0.0以便局域网其他机器访问务必设置鉴权。Ollama 支持简单的 Basic Auth可以通过环境变量OLLAMA_HOST和OLLAMA_ORIGINS进行配置避免服务被随意访问。在生产环境或开放网络中使用时这是必须的步骤。8. 总结从玩具到工具的关键几步把 Ollama 和 Codex 集成起来从“能跑通”到“好用”中间有几个关键点第一硬件是基础别硬扛。在资源不足的机器上跑大模型体验会很差。先从 7B 以下的量化模型开始确认响应速度在你的接受范围内。第二网络问题是第一道坎镜像源和手动下载是备选方案。不要因为下载慢就放弃总有办法能把模型文件弄到本地。第三VS Code 扩展的配置要精确。端点URL、模型名、API Key这三个字段错一个就连不上。多利用扩展的日志输出功能来调试。第四理解模型的能力边界。本地模型在代码补全、解释、生成简单函数方面已经不错但对于非常复杂的业务逻辑或需要最新知识的任务它可能不如联网的云端模型。把它定位为一个增强版的智能代码片段生成器和解释器而不是万能助手。最后保持耐心按顺序排查。问题出现时按照“服务是否在运行 - 端点能否访问 - 模型列表能否获取 - 扩展配置是否正确 - 查看详细错误日志”这个顺序来大部分问题都能定位。我个人更建议在一切稳定之后花点时间为你最常用的编程语言和框架创建一个定制化的Modelfile设定好系统提示词和温度参数让它更贴合你的编码习惯。这样这个本地 AI 助手才能真正从“演示项目”变成你日常工作流中顺手的一件工具。