29 LoRA 原理：为什么只改少量参数也能学会新能力
专栏：大模型应用开发：从原理到生产篇号：29内容标签：LoRA、微调、PEFT、低秩分解、大模型上一篇我们讲了微调的本质。微调不是把知识塞进模型，而是让模型形成新的工作习惯。但这里马上会冒出一个问题：既然微调要改变模型参数，是不是意味着我们要把整个大模型都重新训练一遍？答案是：不一定。如果每次做一个客服场景、一个法律场景、一个报表场景，都要把整个模型重新训练一份，那微调会变得非常笨重。成本高。风险高。部署麻烦。还容易把原模型已有能力改坏。LoRA 解决的正是这个问题。它的想法很克制：原模型的大部分参数不要动。只在少数位置加一小组可训练参数，让这组小参数去学习新任务需要的变化。这就是参数高效微调。一、全量微调为什么太重先看全量微调。全量微调的做法很直接：把模型里的所有可训练参数都打开，让它们一起根据新数据调整。这听起来最彻底。但彻底也意味着代价。第一，训练成本高。大模型参数很多，全部参与训练时，不只是要存参数，还要存梯度、优化器状态和中间激活。对普通应用团队来说，这很快
