🔍 你绝对没听过的Docker新玩法！
使用Docker在本地运行大型语言模型(LLMs)？没错，这不是科幻小说！Docker现在不仅能跑容器，还能通过Docker Model Runner让你和LLM来场"面对面"聊天~
💡 开发者们注意啦！GenAI开发再也不是高门槛游戏了。Docker又一次施展魔法，把复杂的AI模型变得像"docker run"一样简单！
✨ Docker Model Runner的四大超能力
-
🧑💻 开发者友好
-
告别工具链混乱！用熟悉的Docker命令就能玩转AI模型
-
学习曲线？不存在的~
-
-
⚡ GPU加速狂飙
-
Apple Silicon用户福音！直接调用Metal API实现GPU加速
-
llama.cpp在主机上火力全开
-
-
💾 OCI存储黑科技
-
模型不再塞进Docker镜像
-
采用行业标准OCI格式，省空间又高效
-
-
🔒 本地化隐私堡垒
-
再也不用担心云API的限速/天价账单
-
数据安全牢牢掌握在自己手中
-
🛠️ 准备工作：3步启动魔法引擎
-
安装Docker Desktop ≥v4.40 （Apple Silicon芯片的Mac专属福利哦~）
-
-
开启隐藏技能
设置 > Features in development里勾选：-
✅ Enable Docker Model Runner
-
✅ Enable host-side TCP support（API功能需要）
-
-
验证安装 终端输入
docker model，看到命令列表就说明准备就绪啦！
🎮 两种玩法任你选
玩法1️⃣：CLI聊天模式（适合新手）
# 拉取llama3.2模型（像拉镜像一样简单！） docker model pull ai/llama3.2 # 启动对话模式 docker model run ai/llama3.2
输入/bye即可优雅退场~ ✌️
玩法2️⃣：API高级模式（OpenAI兼容）
🐳 容器内访问
基础URL：http://model-runner.docker.internal
curl http://model-runner.docker.internal/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "ai/llama3.2","messages": [{"role": "system", "content": "你是个毒舌助手"},{"role": "user", "content": "用四川话夸夸Docker"}]}'
💻 主机访问
基础URL：http://localhost:12434
curl http://localhost:12434/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "ai/llama3.2","messages": [{"role": "system", "content": "你是个喵星人"},{"role": "user", "content": "用猫语解释Docker原理"}]}'
🌟 响应示例（JSON格式）
{"model": "ai/llama3.2","choices": [{"message": {"content": "Docker嘛，就像喵星人的纸箱子...","role": "assistant"}}],"usage": {"prompt_tokens": 20,"completion_tokens": 87}
}
🚨 重要提示
-
目前仅支持Apple Silicon芯片的Mac
-
大模型下载需要耐心（建议泡杯☕️等待）
-
TCP模式开启后才能玩转API
-
模型存储在
~/.docker/run/models目录
🎉 未来值得期待
Docker团队正在加班加点开发：
-
更多模型支持
-
Windows/Linux版本
-
更丰富的管理命令
-
可视化监控界面
🌈 开发者们，是时候在本地开启你的AI冒险了！ 不用云API、不怕数据泄露，就像运行容器一样简单地驾驭大模型，这才是真正的"CLI魔法"啊！✨
