微调Fine-tuning和RAG都是让大模型更适合特定业务的方法但解决的问题不同微调主要改变模型“怎么做、怎么回答”。RAG主要给模型补充“回答时需要查阅的知识”。可以把大模型比作员工微调给员工培训让他学会工作流程、回答风格和任务规范。RAG给员工连接公司知识库让他回答前可以查制度、手册和业务数据。微调 RAG员工既接受过专业培训又能随时查最新资料。一、什么是微调微调是在一个已经训练好的基础模型上使用特定领域的数据继续训练从而调整模型参数使模型更符合特定任务需求。例如原始模型可能这样回答客服问题您的问题可能与账户状态有关建议联系相关部门。经过客服数据微调后模型可能学会请先打开“账户中心 → 实名认证”检查证件是否过期。若状态仍显示异常请提交工单并选择“认证失败”。模型不仅知道要回答什么还学会了企业希望的回答结构专业术语处理流程语气风格输出格式拒答规则1.微调改变了什么大模型内部有大量参数。微调通过训练数据计算误差再调整其中全部或部分参数。简化过程如下输入训练问题 ↓ 模型生成答案 ↓ 与标准答案比较 ↓ 计算误差 ↓ 调整模型参数 ↓ 重复训练例如训练数据是{ instruction: 用户要求退货应该如何处理, output: 请先确认订单签收时间。签收后7天内且商品不影响二次销售可以申请退货。 }模型看到大量类似案例后会逐渐学会企业的客服处理方式。二、常见的微调方式1. 监督微调SFTSFTSupervised Fine-Tuning是最常见的微调方式。训练数据通常由“输入”和“理想输出”组成输入提取下面合同中的甲方、乙方和合同金额。 输出 { 甲方: A公司, 乙方: B公司, 合同金额: 500000 }大量训练后模型会学会理解任务指令按固定格式输出遵守业务流程使用特定表达方式SFT适用于客服对话信息抽取文本分类SQL生成报告生成固定格式输出特定角色和语言风格2. 全参数微调全参数微调会更新模型的大部分或全部参数。优点模型能力调整更充分对复杂领域任务适应性强缺点需要较多GPU资源训练时间长存储成本高容易破坏原模型能力每个业务版本可能都要保存一套模型一般只有数据量、算力和专业要求都比较高时才使用。3. 参数高效微调PEFTPEFTParameter-Efficient Fine-Tuning只训练少量新增参数或者部分参数。最常见的是LoRA。LoRA不会直接修改所有原始参数而是添加一小组可训练参数基础模型参数保持不变 LoRA参数根据业务数据训练 最终效果基础模型 LoRA适配器优点训练成本低显存要求较低训练速度快一个基础模型可以配多个业务适配器例如基础模型 ├─ 法律LoRA ├─ 医疗LoRA ├─ 客服LoRA └─ SQL生成LoRA但LoRA不是万能的。如果数据质量差或者基础模型本身能力不足LoRA也很难解决。4. 偏好对齐偏好对齐不是单纯让模型模仿标准答案而是告诉模型“哪个答案更好”。例如问题用户非常生气应该怎么回复 答案A您的问题已经记录。 答案B非常抱歉给您带来困扰。我先帮您核查订单状态并说明下一步处理时间。 偏好结果答案B更好模型通过偏好数据学习哪种回答更有帮助哪种语气更合适哪些行为应该避免如何在多个答案中选择更好的一个三、微调适合解决什么问题微调最适合解决的是稳定的行为模式。1. 固定输出格式例如要求模型始终输出{ risk_level: high, reason: 合同缺少违约责任条款, suggestion: 补充违约责任和赔偿标准 }仅使用提示词有时会出现字段缺失或格式变化微调可以提高一致性。2. 专业任务能力例如判断用户投诉类别提取病历字段分析合同风险将自然语言转换成SQL根据日志判断故障类型这些任务有相对稳定的输入和输出规律适合微调。3. 企业表达风格例如要求模型回答简洁不使用过度承诺先道歉再解释再给解决方案使用企业统一术语避免某些敏感表达4. 降低提示词长度如果每次都要在提示词里放入很长的规则会增加成本。微调可以让部分规则内化到模型中。但关键规则仍然应该在系统提示词和程序逻辑中保留不能完全依赖微调。四、微调不适合解决什么问题1. 不适合频繁更新的知识例如今天的商品价格最新库存最新公司制度实时订单状态经常变化的法律法规如果用微调写入这些知识每次变化都要重新准备数据、训练、评估和发布成本太高。2. 不适合要求精确记忆大量事实虽然微调可以让模型接触领域知识但这些知识被分散存储在模型参数中无法保证模型能够完整记住精确提取不与原有知识混淆提供准确来源所以不要简单地把几千份公司文档直接作为训练材料然后期待模型准确背诵。3. 不适合严格权限控制如果敏感信息已经通过微调写入模型参数就很难证明模型一定不会在其他场景中泄露。对于不同用户只能访问不同资料的业务更适合使用带权限过滤的RAG。五、什么是RAGRAG是“检索增强生成”。它不一定修改大模型参数而是在用户提问后先从外部知识库中检索相关内容再让模型根据检索结果回答。用户问题 ↓ 检索知识库 ↓ 找到相关文档片段 ↓ 问题 文档片段 ↓ 大模型生成答案例如用户问工作满五年的员工有多少天年假系统先检索到《员工管理制度》第12条 员工工作未满五年每年享有10天年假 工作满五年每年享有15天年假。然后把资料和问题一起交给模型模型回答根据《员工管理制度》第12条工作满五年的员工每年享有15天年假。六、RAG的主要优点和局限优点知识可以及时更新可以接入企业私有数据可以提供引用来源不必频繁重新训练模型可以按照用户权限过滤文档适合大量文档问答局限RAG不是“放入文档就一定准确”它可能在多个环节出错文档解析错误 ↓ 切片不合理 ↓ 检索不到正确内容 ↓ 重排序选错片段 ↓ 模型错误理解资料 ↓ 最终答案错误常见问题包括正确资料没有被召回召回了相似但错误的资料新旧版本制度同时出现表格关系被切片破坏多份文档内容互相冲突模型忽略参考资料引用的文档并不支持结论因此RAG的核心难点通常不是“接入一个向量数据库”而是数据治理、检索设计和系统评估。七、微调与RAG的核心区别维度微调RAG核心目标改变模型行为和能力补充外部知识是否修改模型参数是通常不修改知识存储位置模型参数外部知识库更新知识方式重新训练或继续训练更新文档和索引是否容易引用来源较难容易适合实时信息不适合适合适合固定输出格式适合作用有限适合企业私有知识可以但不理想非常适合权限控制较难可以在检索阶段控制初始建设成本数据和训练成本较高数据治理和检索建设成本较高推理成本微调后可能较低多了检索和上下文成本最重要的区别是微调把规律写入模型参数RAG在回答时把资料放进模型上下文。