前置知识：第15篇（混合精度训练）/ 第06篇（Transformer 架构）引言：大模型微调的"民主化"训练一个 7B 模型需要 8×A100（~56GB 显存），微调全参数也差不多的开销。普通人根本负担不起。LoRA（Low-Rank Adaptation）改变了这一切：全参数微调（7B）： 训练所有 7B 参数 → 需要 56GB 显存 LoRA（7B 模型）： 只训练 ~30M 参数 → 需要 ~14GB 显存 QLoRA（7B 模型）： 量化到 4bit + LoRA → 需要 ~6GB 显存一张 RTX 4090（24GB）可以微调 7B 模型，RTX 4060（8GB）可以用 QLoRA 跑 8B 模型。这就是 LoRA 被称为"大模型微调民主化技术"的原因。一、LoRA 的数学本质1.1 核心思想预训练模型的权重W ∈ R d × k W \in \mathbb{R}^{d \times k}