今天聊一个把大模型推理和大模型微调打通的项目——Unsloth。简介Unsloth 是一个大模型训练和推理的一站式平台GitHub 65.2k Star由 Daniel Han 和 Michael Han 兄弟创建。核心能力两个训练快、省显存。微调 500 模型速度最高提升 2 倍显存最多省 70%精度不掉。这个数据来自自定义的 Triton 内核和数学优化跟 PyTorch、Hugging Face 官方都有合作。Unsloth 现在分两个产品形态Unsloth StudioWeb UI支持 Windows、Linux、macOS本地一键启动能跑模型也能训模型Unsloth Core纯代码方式pip 安装适合脚本化和 Notebook 场景先放一张 Studio 的界面unsloth studio ui homepage功能亮点推理侧搜索、下载、运行模型支持 GGUF、LoRA adapter、safetensors 多种格式模型导出为 GGUF、16-bit safetensors方便部署到 llama.cpp、vLLM、OllamaTool Calling 带自愈能力调用失败能自动修复重试代码执行沙箱LLM 可以在沙箱里跑代码验证结果API 推理端点兼容 OpenAI 格式能直接对接 Claude Code、Codex支持图片、音频、PDF、DOCX 多模态输入可接入外部 API 提供商OpenAI、Anthropic或本地服务器vLLM、Ollama、llama.cpp训练侧支持全量微调、LoRA、RL、预训练4-bit / 16-bit / FP8 都行GRPO 强化学习显存节省 80%Data Recipes从 PDF、CSV、DOCX 自动生成训练数据集可视化节点编排训练过程实时可观测loss 曲线、GPU 占用一目了然多 GPU 训练已支持大升级在路上模型竞技场Model Arena两个模型并排跑同一个问题同时回答方便对比微调前后的效果。性能数据这是官方给出的微调性能对比数据来自 README模型训练加速显存节省Gemma 4 (E2B)1.5x50%Qwen3.5 (4B)1.5x60%gpt-oss (20B)2x70%gpt-oss (20B) GRPO2x80%Qwen3 Advanced GRPO2x70%Llama 3.1 (8B)2x70%Llama 3.22x70%Mistral Ministral 3 (3B)1.5x60%Orpheus-TTS (3B)1.5x50%embeddinggemma (300M)2x20%还有几个比较夸张的数据MoE 模型训练12x 加速35% 显存节省500K 上下文20B 模型在 80GB GPU 上训练 50 万 token 上下文7x 更长上下文的 RL新的 batching 算法硬件支持平台支持情况NVIDIA RTX 30/40/50全面支持含 Blackwell、DGX SparkmacOS训练、MLX 推理、GGUF 推理都支持AMD聊天和 Data Recipes 可用训练走 CoreIntel通过官方 Intel Guide 支持CPU聊天和 Data Recipes 可用多 GPU已支持Mac 用户注意了Unsloth 不只是能推理训练也支持 macOS。这在同类工具里很少见。安装Unsloth StudioWeb UI 版本macOS / Linux / WSL一行命令curl -fsSL https://unsloth⋅ai/install.sh | shWindows PowerShellirm https://unsloth.ai/install.ps1 | iex启动 Studiounsloth studio -p 8888浏览器打开http://127.0.0.1:8888就能用了。如果在服务器上跑加-H 0.0.0.0允许外部访问。Docker 方式docker run -d -e JUPYTER_PASSWORDmypassword / -p 8888:8888 -p 8000:8000 -p 2222:22 / -v $(pwd)/work:/workspace/work / --gpus all / unsloth/unslothUnsloth Core代码版本Linux / WSLcurl -LsSf https://astral.sh/uv/install.sh | sh uv venv unsloth_env --python 3.13 source unsloth_env/bin/activate uv pip install unsloth --torch-backendautoWindowswinget install -e --id Python.Python.3.13 winget install --idastral-sh.uv -e uv venv unsloth_env --python 3.13 ./unsloth_env/Scripts/activate uv pip install unsloth --torch-backendauto用的是 uv 做包管理比 pip 快不少。Connections接入外部模型服务这是 Unsloth 一个容易被忽略的能力——它不只跑本地模型还能当统一前端把 OpenAI、Anthropic 的 API 和本地的 vLLM、Ollama、llama.cpp 服务全接进来。支持的云端提供商提供商能力OpenAI图片、搜索、代码、思考Anthropic图片、搜索、代码、思考OpenRouter一个 Key 访问多家模型支持的本地服务器服务器默认端点llama.cpphttp://localhost:8080/v1vLLMhttp://localhost:8000/v1Ollamahttp://localhost:11434/v1设置路径Settings → Connections → Add Connection填 API Key 或 Base URL点 Reload Models选模型启用就行。接入后的模型在模型选择下拉框里显示为 “Connected”云端或 “External”本地服务器。几个细节值得注意Prompt CachingOpenAI、Anthropic、llama.cpp 都支持长前缀重复请求时延迟和成本大幅降低代码执行OpenAI 用容器沙箱Anthropic 用 Claude 自带的代码执行能力Web 搜索和思考支持的模型可以开启搜索和思考模式免费 NotebookGoogle Colab 免费跑不需要本地有 GPU模型链接Gemma 4 (E2B)ColabQwen3.5 (4B)Colabgpt-oss (20B)Colabgpt-oss GRPOColabQwen3 GRPOColabLlama 3.1 (8B)ColabOrpheus-TTS (3B)ColabStudio 本身也有 Colab 版本Unsloth Studio Colab和同类工具对比Unsloth 的定位比较特殊——它把推理和训练放在同一个产品里。对比一下同类工具对比维度UnslothOllamavLLMLLaMA-Factory推理✅✅✅❌微调/训练✅❌❌✅Web UI✅ Studio❌ (第三方)❌✅显存优化自研 Triton 内核量化PagedAttention量化 LoRARL/GRPO✅❌❌✅多模态训练✅❌❌✅Mac 训练✅❌❌有限Ollama 胜在简单一条命令跑模型vLLM 胜在高并发生产部署LLaMA-Factory 胜在训练生态成熟。Unsloth 的优势在于训推一体和极致的显存优化特别适合资源有限但想自己训模型的开发者。总结Unsloth 从最早的微调加速库进化成了一个完整的大模型本地工作站。推理、训练、数据处理、模型导出一个 Studio 全搞定。几个突出优点显存优化激进消费级显卡也能训中等规模模型Mac 训练支持这个在同类项目里确实少见Studio UI 完成度很高新手友好生态集成做得好vLLM、Ollama、OpenAI、Anthropic 全能接不足的地方Studio 还在 Beta稳定性有待观察AMD GPU 的训练支持还没完全到位多 GPU 支持虽然有了但大版本升级还在路上Pro/Enterprise 版本需要联系销售价格不透明适合谁用有一张消费级 N 卡、想自己微调模型、又不想折腾一堆环境的开发者Unsloth 是目前综合体验最好的选择之一。这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容