KV Cache键值缓存是Transformer模型在自回归推理如文本生成时用于提升计算效率的核心优化技术。其核心原理是模型在生成每一个新词元token时都需要基于之前所有词元的信息来计算注意力。如果没有缓存每次生成都需要为所有历史词元重新计算键Key和值Value矩阵造成大量重复计算。KV Cache通过将这些计算好的K和V矩阵存储起来在生成后续词元时直接复用从而避免了重复计算显著加快了推理速度。然而这项技术以空间换时间会带来显著的显存开销。缓存占用的显存量与模型层数、注意力头数、词元序列长度以及批次大小成正比。例如一个7B参数的模型在处理2048长度的序列时KV缓存可能占用约1GB显存当序列长度增长或并发请求增多时显存占用会急剧上升成为大模型长上下文推理的主要瓶颈之一。因此工程上常需结合量化如将缓存精度从FP16降至FP8甚至FP4、分页注意力PagedAttention等技术来优化显存占用和管理。需要明确的是KV Cache是一种临时的计算加速机制并非模型的持久化记忆。一旦推理会话结束缓存即被释放模型不会保留这些信息用于下一次对话。PEFT参数高效微调是一种用于微调大型语言模型的高效方法其核心目标是只更新或新增模型中的一小部分参数而非调整全部参数即全参数微调。这种方法可以大幅降低对计算资源、显存和时间的需求使得在有限资源下微调大模型成为可能。PEFT有多种具体实现技术其中LoRA低秩适配是目前最流行的方法之一。LoRA的核心思想是保持预训练好的原始模型权重完全冻结不更新仅在某些特定的权重矩阵如注意力模块中的Q、K、V、O矩阵旁添加一对可训练的低秩矩阵通常记为A和B。在微调过程中只训练这些新增的、参数量很少的低秩矩阵让它们学习任务特定的知识。训练完成后可以将学习到的低秩矩阵合并回原始权重中得到一个独立的、可用于推理的模型从而避免推理时的额外延迟。LoRA的关键超参数包括秩r和缩放参数alpha。秩r决定了低秩矩阵的大小是控制模型容量与过拟合风险之间平衡的关键通常建议从一个较小的值如8或16开始尝试。缩放参数alpha通常与r成比例设置如alpha 2r其比值alpha/r控制着低秩更新对原始权重的影响强度。LoRA高效微调如何避免过拟合减小r或增加数据集大小可以帮助减少过拟合。还可以尝试增加优化器的权重衰减率或 LoRA层的dropout值。为了获得最佳性能通常需要通过实验调整这些超参数。