generative-ai-for-beginners 第 18 课自学指南：LLM 微调（Fine-Tuning）核心资源全解析与 Foundry 实战路线

教程人工智能大模型【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners点击查看免费下载本文围绕 generative-ai-for-beginners 仓库第 18 课Fine-Tuning Your LLM配套的 RESOURCES.md 自学资源清单展开系统梳理了微调从概念决策SFT / DPO / RFT、**平台操作Microsoft Foundry到开源工具链Hugging Face TRL、AutoTrain、Unsloth**的完整学习脉络并结合仓库内的课程正文与可运行的微调 Notebook帮助你把收藏链接真正转化为能跑的微调任务。读完本文你将掌握微调的核心术语、平台选型要点、端到端微调工作流以及如何借助仓库自带的 JSONL 数据与示例代码完成第一次实战。1. 这份资源清单是什么定位与阅读方法第 18 课18-fine-tuning/README.md是本课程系列中讲解微调Fine-Tuning的一课。课程正文介绍了微调的概念、何时使用、如何执行以及局限性而配套的 RESOURCES.md 则是一份面向自学者self-guided learning的精选资源清单其英文原版位于仓库根目录下的18-fine-tuning/RESOURCES.md本文所依据的希伯来语译本位于 translations/he/18-fine-tuning/RESOURCES.md。该文档开篇明确了两点定位课程本身基于OpenAI 与 Microsoft Foundry的核心资料搭建作为术语与教程参考清单非穷尽non-comprehensive但其中每个链接都指向**当前有效且受支持current, supported**的资料适合作为长期更新的自学导航。清单分为两大部分主要资源Primary Resources——覆盖概念、操作流程与端到端教程次级资源Secondary Resources——覆盖课程未展开、但值得深入探索的进阶内容数据准备、RAG 微调、实验追踪与开源工具。文档末尾还附有一则翻译声明该文件经由 Co-op Translator 自动翻译可能存在误差如与英文原版存在出入应以英文原版为准。阅读技术细节时建议中英对照。由于本文遵循不输出外部站点链接的规范下文按原文档分类完整整理各资源的技术要点与适用场景原始链接列表请直接查阅仓库内 18-fine-tuning/RESOURCES.md英文原版或 translations/he/18-fine-tuning/RESOURCES.md希伯来语译本。2. 阅读资源前必须建立的概念地基RESOURCES.md 的每条描述都建立在课程正文的核心概念之上。在逐条学习链接之前先用仓库内 18-fine-tuning/README.md 的正文建立共识。2.1 为什么需要微调few-shot 的两大瓶颈大语言模型在海量互联网文本上完成预训练但要提升特定任务上的回答质量此前课程主要依赖两类修改输入的技术提示工程Prompt Engineering与检索增强生成RAG。其中提示工程里最常用的 few-shot少样本学习存在两个硬限制Token 上限模型上下文窗口限制了你一次能塞进提示词的示例数量进而限制效果Token 成本把示例加进每次请求会显著增加成本也限制了灵活性。微调正是解决这一问题的第三条路径它不再修改提示词而是用额外数据重新训练模型本身把预训练模型改造成针对特定任务或领域更精准的定制模型custom model。其副产品是——微调后通常可以减少 few-shot 所需的示例数量从而降低 token 用量与成本。2.2 有监督微调 vs 无监督微调课程强调本文语境下的微调专指有监督微调Supervised Fine-Tuning用不在原始训练集内的新数据重新训练。它区别于无监督微调在原始数据上换超参数重训。同时微调是进阶技术做错了可能不仅没有收益还会降低模型在目标领域上的表现因此学习怎么微调之前必须想清楚为什么微调、何时微调。2.3 动手前的四组自问决策框架课程正文给出了微调前必须回答的问题这些正是主要资源中概念类链接要帮你解决的维度自问内容Use Case用例我的微调用例是什么想改进预训练模型的哪个方面Alternatives替代方案是否先尝试过提示工程few-shot与 RAG能否以此建立对比基线Costs成本模型是否支持微调tunability数据准备与评估调优的投入effort算力开销compute是否有足够质量的数据dataBenefits收益微调后质量是否超过基线能否靠简化提示词降低 token 成本能否将基础模型复用于新领域extensibility只有当收益大于成本时微调才是值得的路径。3. 主要资源Primary Resources逐条精解RESOURCES.md 将主要资源划分为概念与决策、流程与操作、端到端教程三类分类为本文整理条目与描述忠实于原文档。结合仓库源码每一类都可以在 18-fine-tuning/README.md 与 oai-assignment.ipynb 中找到对应的落地证据。3.1 概念与决策类先弄懂是什么、为什么、选哪个① Fine-tuning with OpenAI ModelsOpenAI 微调概览这是从 OpenAI 侧获得微调全景的最佳入口。其核心论点是微调在 few-shot 之上更进一步——通过训练远超提示词容量上限的更多示例来改进学习从而节省成本、提升响应质量、并支持更低延迟的请求。② When to use Microsoft Foundry fine-tuning何时使用 Foundry 微调聚焦决策本身理解微调是什么、为什么值得考虑、该用什么数据、如何度量质量以及SFT、DPO、RFT 三种技术各自适用的时机。仓库正文恰好用一张对比表把三种技术讲透了技术做什么何时使用SFT有监督微调用输入/输出示例对训练让模型学会产出你想要的回答大多数任务的默认选择领域专精、任务表现、风格与语气、指令遵循、语言适配DPO直接偏好优化从偏好 / 非偏好回答对中学习让输出对齐人类偏好有对比反馈时提升回答质量、安全性与对齐RFT强化微调利用评分器graders提供的奖励信号以强化学习优化复杂行为数学、化学、物理等答案有明确对错、重推理的领域需要更多 ML 经验③ Fine-tuning overview: techniques and modalities微调技术综述在 SFT / DPO / RFT 之外还引入平台侧的两种**落地形态modalities**对比无服务器serverless按用量计费、无需管理 GPU 配额支持 OpenAI 模型与精选模型大多数人应从这种形态起步托管计算managed compute通过 Azure Machine Learning 自带虚拟机BYO VMs可覆盖最广的模型范围。3.2 流程与操作类平台内如何一步步执行④ Customize a model with fine-tuning定制模型完整操作手册这是 Foundry 上微调的端到端 how-to支持门户Portal、OpenAI / Foundry Python SDK、REST API三种方式覆盖数据准备、训练、检查点checkpoints与部署全流程。仓库内的 oai-assignment.ipynb 正是这份手册的可运行镜像把四步工作流落地为代码准备并上传训练与验证数据运行训练任务生成微调模型监控任务、审阅指标、选择检查点部署微调模型并用于推理。⑤ Continuous fine-tuning持续微调这是一个迭代过程把已经微调过的模型再选作基础模型在其基础上用新一轮训练示例继续微调。仓库正文补充了一个重要前提持续微调对 OpenAI 系列模型受支持。它让微调从一次性任务升级为可长期演进的生产实践。⑥ Fine-tuning with tool (function) calling带工具调用的微调当你的模型需要调用外部工具/函数时用带 tool-calling 示例的数据微调能显著改善输出回答更准确、更一致、格式更统一且提示词中使用的 token 更少。这与仓库第 11 课11-integrating-with-function-calling的 Function Calling 主题一脉相承——微调可以让工具调用行为从提示词里教变成模型参数里固化。⑦ Fine-tuning models: Microsoft Foundry guidance可微调模型清单查询用于按需查询哪些模型可以微调、支持哪些方法SFT / DPO / RFT、在哪些区域可用。仓库正文给出了课程编写时的示例阵容OpenAI 模型gpt-4o-mini、gpt-4o、gpt-4.1、gpt-4.1-mini、gpt-4.1-nano支持 SFT4o/4.1 家族还支持 DPO推理模型o4-mini、gpt-5支持 RFT开源模型Ministral-3B、Qwen-32B、Llama-3.3-70B-Instruct、gpt-oss-20b在 Foundry 资源上支持 SFT。模型可用性与区域会持续变化务必以该清单的当前版本为准这也是 RESOURCES.md 强调每个链接都指向当前有效资料的原因。3.3 端到端教程类跟着真实任务跑一遍⑧ Tutorial: Fine-tune a model in Microsoft Foundry创建示例数据集 → 为微调做准备 → 在当前受支持的模型如gpt-4.1-mini上运行微调任务 → 在 Azure 上部署微调后的模型。这正是仓库 Notebook 完整复现的流程详见第 5 节。⑨ Tutorial: Fine-tune models with serverless API deployments针对开放模型与合作伙伴模型Phi、Llama、Mistral 等在 Foundry 中通过低代码、基于 UI 的工作流完成定制——适合不想手写训练管线、又想微调开源模型的场景。⑩ Tutorial: Fine-tune Hugging Face models on Azure Databricks在单块 GPU上用transformers库配合Hugging Face Trainer在 Azure Databricks 中微调 Hugging Face 模型。这是把开源模型 开源训练框架 云平台串起来的典型路径。⑪ Training: Fine-tune a foundation model with Azure Machine LearningAzure Machine Learning 的**模型目录model catalog**提供大量可微调的开源模型该模块属于 Azure ML 的生成式 AI 学习路径适合想系统补课 Azure ML 生态的读者。⑫ Tutorial: Azure OpenAI fine-tuning with Weights Biases在 Azure 上微调时用 **WBWeights Biases**跟踪与分析训练运行在 OpenAI 微调指南基础上补充了Azure 专属步骤与实验追踪experiment tracking是平台微调 MLOps 观测的组合实践。4. 次级资源Secondary Resources进阶拓展次级资源是课程没时间展开但值得深入的内容RESOURCES.md 建议用它来建立自己的微调专长。仓库中同样能找到呼应——例如 training-data.jsonl 与 validation-data.jsonl 正是数据准备类资源讨论的对象。4.1 数据准备与质量评估OpenAI Cookbook: Data preparation and analysis for chat model fine-tuning在微调之前对聊天数据集做预处理与分析检查格式错误、获取基础统计信息、估算 token 数量及对应成本。与 OpenAI 微调指南配套使用。仓库中的 training-data.jsonl 就是单轮 chat completions 格式的 10 条示例样本每条记录为单行 JSON{ messages: [{role: system, content: Elle is a factual chatbot that answers questions about elements in the periodic table with a limerick}, {role: user, content: Tell me about Gallium}, {role: assistant, content: Gallium, oh gallium, so light - Melts in your hand, oh what a sight - At 86 degrees - Its liquid with ease - And in semiconductors, its out of sight}]}Notebook 特别提醒两点每条记录必须写成单行不能像格式化 JSON 那样换行如果你需要多轮对话数据则应改用多轮格式并可通过weight参数控制哪些消息参与训练。4.2 场景化微调OpenAI Cookbook: Fine-tuning for Retrieval Augmented Generation (RAG) with Qdrant一个综合性示例将 OpenAI 模型微调用于 RAG整合Qdrant 向量数据库与 few-shot 学习目标是提升检索问答性能并减少幻觉fabrications。它与仓库第 15 课15-rag-and-vector-databases/README.md的主题直接打通——微调与 RAG 不是互斥的而是可以叠加的两种质量手段。OpenAI Cookbook: Fine-tuning GPT with Weights Biases用 WB 追踪模型训练与微调过程建议先读 WB 的 OpenAI 微调集成指南再动手做 Cookbook 练习。与主要资源中的 ⑫ 形成Azure 专属版 / 通用版的互补。4.3 开源模型微调工具链Hugging Face Tutorial: How to Fine-Tune LLMs with Hugging Face TRL面向开放 LLM示例用CodeLlama 7B的完整路线使用transformers、Transformer Reinforcement Learning (TRL)与datasets依次完成——定义用例 → 搭建开发环境 → 准备数据集 → 微调 → 评估 → 部署。这是开源生态中最经典的保姆级教程。Hugging Face: AutoTrain AdvancedHugging Face 出品的无代码 / 低代码微调库支持多种模型类型。可在你自己的云端、Hugging Face Spaces 或本地运行提供GUI、CLI、YAML 配置三种驱动方式。适合不想写训练循环但想微调的快速试错。Unsloth: Fine-tuning LLMs Guide开源框架大幅简化本地 LLM 微调与强化学习RL并附带开箱即用的 Notebook除 LLM 外还支持文本转语音TTS、BERT 与多模态模型。是低资源环境下消费级 GPU微调的常用选择。5. 把资源转化为实战仓库内的可运行证据RESOURCES.md 的价值在于知道该学什么而仓库 18-fine-tuning/python/openai/oai-assignment.ipynb 的价值在于照着就能跑。该 Notebook 使用 **OpenAI Python SDKv1**指向 Foundry 资源的/openai/v1/端点——同样的代码只要改客户端配置即可在 OpenAI 平台运行。下面按工作流四步给出关键代码均出自 Notebook 源码。5.1 前置条件一个 Microsoft Foundry 项目且具备Foundry Owner角色微调与部署所需pip install openai1.0 python-dotenv.env文件含AZURE_OPENAI_ENDPOINT与AZURE_OPENAI_API_KEY环境配置参考课程设置指南 00-course-setup/02-setup-local.md一个当前受支持的基础模型如gpt-4.1-mini。5.2 第 1 步上传训练与验证数据用 Files API 上传purposefine-tune验证文件的作用是让平台回报验证损失用于发现过拟合from openai import OpenAI import os from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.environ[AZURE_OPENAI_API_KEY], base_urlf{os.environ[AZURE_OPENAI_ENDPOINT].rstrip(/)}/openai/v1/, ) training_response client.files.create( fileopen(./training-data.jsonl, rb), purposefine-tune ) validation_response client.files.create( fileopen(./validation-data.jsonl, rb), purposefine-tune ) print(Training file ID:, training_response.id) print(Validation file ID:, validation_response.id)5.3 第 2 步创建并监控微调任务创建任务时需指定基础模型、训练/验证文件、后缀suffix用于标识产物、**seed复现随机性**以及训练层级trainingTypejob client.fine_tuning.jobs.create( modelgpt-4.1-mini, training_filetraining_file_id, validation_filevalidation_file_id, suffixelements-limerick, seed105, extra_body{trainingType: GlobalStandard}, ) print(Fine-tuning Job ID:, job.id) print(Status:, job.status)关于trainingType训练层级仓库正文给出了三个选项的取舍Standard在资源所在区域训练保证数据驻留data residency适合数据必须留在特定区域的场景Global利用区域外的容量排队更便宜更快数据与权重会复制到训练区域无数据驻留要求时的默认选择Developer成本最低使用空闲容量无延迟/SLA 保证任务可能被抢占后恢复适合实验。监控 API 全家桶来自 Notebook 第 2.2 节说明client.fine_tuning.jobs.list(limitn)— 列出最近 n 个任务client.fine_tuning.jobs.retrieve(job_id)— 查询单个任务详情client.fine_tuning.jobs.cancel(job_id)— 取消任务client.fine_tuning.jobs.list_events(...)— 列出任务事件可反复运行直到出现 The job has successfully completedclient.fine_tuning.jobs.checkpoints.list(job_id)— 列出可部署的检查点最后几个 epoch。任务启动后Foundry 会先校验训练文件格式再开始训练根据模型与数据规模训练耗时从几分钟到数小时不等。5.4 第 3 步审阅指标与选择检查点在 Foundry 门户的Build Fine-tuning中可以看到状态、事件、超参数与指标。需要重点盯两类指标train_loss与full_valid_loss——应随时间下降train_mean_token_accuracy与full_valid_mean_token_accuracy——应上升。如果训练曲线与验证曲线出现分歧说明可能过拟合可尝试更少 epoch 或更小的学习率倍率。仓库正文强调不要盲目部署最后一个 epoch——Foundry 保留最后三个 epoch 作为可部署检查点应通过train_loss / valid_loss与 token 准确率选择泛化最好的那一个。5.5 第 4 步部署与推理与 OpenAI 平台可直接使用模型 ID不同Foundry 要求先部署再调用。部署方式门户Build Fine-tuning → 选择完成的任务 → Deploy为部署起名如elements-limerick该名字就是代码中调用的model参数也可用控制平面 REST/ARM API 程序化部署。deployment_name elements-limerick # Foundry 中部署时起的名字 completion client.responses.create( modeldeployment_name, input[ {role: system, content: You are Elle, a factual chatbot that answers questions about elements in the periodic table with a limerick}, {role: user, content: Tell me about Strontium}, ], storeFalse, ) print(completion.output_text)推理时务必使用与训练时相同的 system 消息——换一条 system 消息可能改变模型行为仓库正文最佳实践第 4 条。在 FoundryPlayground中也可以选中该部署做对比测试微调后的模型会以训练示例中的五行打油诗格式作答而基础模型通常只会跟随 system 提示。此外已部署的定制模型按小时计费闲置 15 天未用的部署会被移除用完后记得清理。6. Foundry 最佳实践资源清单背后的平台铁律18-fine-tuning/README.md 在教程之后总结了八条最佳实践它们是理解 RESOURCES.md 中数据准备、检查点、持续微调等条目背后动机的关键先立基线微调之前先用提示工程与 RAG 评测基础模型才能证明微调带来的增益小步验证再放大先用50–100 条高质量示例验证方案生产环境再扩展到500质量胜过数量剔除低质量样本数据格式正确训练与验证文件必须是JSONL、UTF-8 且带 BOM、小于 512 MB采用 chat-completions 消息格式始终提供验证文件以监控过拟合推理时沿用训练 system 提示评估检查点而非盲部署最后一轮质量与 token 成本一起衡量对比微调模型与基线时用持续微调迭代对 OpenAI 模型支持留意托管成本按小时计费、闲置 15 天移除。另外需要知道Foundry 底层使用LoRA低秩适配高效微调因此比全量重训所有权重更快、更便宜——这也是 serverless 形态能够按用量计费的技术基础。7. 建议的自学路线把 18 个条目排成学习计划结合 RESOURCES.md 的分层结构与仓库实战内容推荐如下推进顺序概念入门读 ②何时使用 Foundry 微调与 ①OpenAI 微调概览配合本课 README 的 SFT/DPO/RFT 对比表建立术语体系决策校准用第 2.3 节的四组自问评估自己的用例必要时看 ③技术与形态综述与 ⑦可微调模型清单动手跑通按 ④ 的 how-to跟随仓库 oai-assignment.ipynb 用gpt-4.1-mini training-data.jsonl 走完四步工作流进阶优化数据不足时读 Cookbook 数据准备教程需要工具调用读 ⑥需要领域推理读 ⑧Foundry 端到端教程与 RFT 相关指南开源路线想低成本本地微调依次探索 Hugging Face TRL 教程、AutoTrain Advanced 与 Unsloth生产化用 WB⑫ 与 Cookbook 条目做实验追踪用 ⑤ 持续微调迭代并始终对照第 6 节的最佳实践清单自查。这套顺序恰好呼应仓库课程中Illustrated Guide的进阶路径从核心概念与动机到执行微调任务的流程与最佳实践。全部原始链接请以仓库内 RESOURCES.md英文原版为准该文件本身就是你未来按图索骥、持续更新的活书签。赞分享教程人工智能大模型【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners点击查看免费下载相关推荐generative-ai-for-beginners 第 18 课配套指南LLM 微调Fine-Tuning概念、最佳实践与自研学习资源路线图generative ai for beginners 第 18 课配套指南LLM 微调Fine Tuning概念、最佳实践与自研学习资源路线图 本文以教程人工智能大模型generative-ai-for-beginners 第 18 课深度解析LLM 微调Fine-Tuning从决策到实战generative ai for beginners 第 18 课深度解析LLM 微调Fine Tuning从决策到实战 本课是 generative教程人工智能大模型Generative AI for Beginners 第 18 课LLM 微调Fine-Tuning从原理到动手实操Generative AI for Beginners 第 18 课LLM 微调Fine Tuning从原理到动手实操 本指南是开源课程 generati教程人工智能大模型上一篇Windows 更新后任务栏、开始菜单为什么恢复默认ExplorerPatcher 修复路径一次说清下一篇米哈游游戏智能扫码登录器终极抢码登录解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考