其中的基石就是 KV Cache。Decoder-Only#18 年OpenAI 提出了 GPT-1 Improving Language Understanding by Generative Pre-Training其核心内容就是现在的 Decoder-Only 架构这是目前绝大多数通用大语言模型采用的基本架构。有了之前的基础Decoder-Only 的逻辑并不难理解研究人员发现对于语言建模任务而言并不一定需要单独的 Encoder。只要让模型根据已有文本不断预测下一个 Token就能够学习语言规律。因此现代大模型直接移除了 Encoder同时删除了依赖 Encoder 输出的 Cross Attention最终仅保留 Decoder 中的 Masked Self-Attention 与 FFN 结构image.png可以看到原始的 GPT-1 基本逻辑仍然是在预训练的模型基础上继续用特定数据训练让模型适应某个任务或领域也就是 Fine-tuning而这种基础的任务能力现在已经可以靠 prompt 来激活了。因此了解 Decoder-Only 架构本身的相关逻辑即可这里展开两个细节1.1 用户输入是如何作用的#既然没有 Encoder一个自然的问题是用户输入由谁来理解答案是用户输入本身就是 Decoder 的输入序列。我们直接举个例子用户提问法国的首都是哪里这句话会直接被转换为 Token 序列法国 的 首都 是 哪里 ?随后送入 Decoder。模型经过一次前向传播后预测巴黎此时序列变成法国的首都是哪里巴黎之后同理继续生成直到生成结束标记法国的首都是哪里巴黎。它位于……这种根据已经出现的内容预测下一个 Token 的过程就是自回归生成Autoregressive Generation。1.2 Attention 中的重复计算问题#明白了 Decoder-Only 的生成逻辑后现在我们来看一个推理时的问题第步时模型需要计算个 token 之间的自注意力然后预测第个 token。然后第步输入变成个 token再算一遍注意力预测第个。现在假设模型已经生成到了第个 token第步计算了 token到之间所有注意力。到了第步输入变成了 token到标准做法会把 token到的 K 和 V 重新计算一遍。问题就出在这个再算一遍上在第步和步之间token到的 K 和 V 变了吗答案是没有。在参数固定的推理阶段token在第一步后就固定了。token的内容同理在第步生成后就已经固定了。它们的 K 和 V 不会因为一个新 token 的加入而改变。每次重新计算都是纯粹的浪费。显然这里存在相当大的优化空间这便是 KV Cache 要解决的问题。21c1e846-9a9b-4f44-84c4-c8e2e6998ed3.pngKV Cache#2.1 KV Cache 的内容#KV Cache 的思路很简单在第步算完和后把它们存起来。第步只需要计算和然后把它们追加到缓存中。所有之前 token 的 K 和 V 直接从缓存读取。就像这样步骤 计算内容 缓存生成 token 1 算存起来生成 token 2 只算追加到缓存生成 token 3 只算追加到缓存… 每步只算一个缓存逐步增长于是原本的每一步的注意力计算是这样现在加入 KV Cache 就变成了这样其中是缓存的历史。只有是当前步需要计算的。很显然通过 KV Cache 我们消灭了计算 KV 投影时的无用功。在长文本生成时其带来的性能差距是数量级的。2.2 为什么 Q 不需要缓存?#既然 K 和 V 都被缓存了一个可能的问题是为什么不把 Q 也缓存起来复用区别在于它们的角色不同在自回归生成的每一步当前 token 的 Q 作用是查询历史信息。与所有历史 K 计算注意力分数然后从所有历史 V 中聚合信息来预测下一个 token。一旦这一步的预测完成的历史使命就结束了。未来步的只关心它们自己与历史的匹配不再需要回头看。而和不一样。它们在第步生成后仍然会被未来的所有 token 查询。只要未来某一刻的需要与第步的信息做注意力计算和就必须一直存在。所以总结来说就是Q 是查完即弃无需保留。2.3 KV Cache 的内存开销#KV Cache 不是免费的午餐它的本质就是典型的空间换时间。在推理过程中我们将历史 token 的 K 和 V 保存在显存中以避免后续步骤重复计算。计算省下来了但这些缓存需要一直保留到生成结束。对于传统 Multi-Head Attention每一层 KV Cache 的大小近似为其中2表示 K 和 V 各保存一份batch_size批次大小推理中为并行请求数。seq_len当前缓存中的累计 Token 数量。隐藏层维度。dtype_bytes数据精度占用字节数FP32 为 4FP16/BF16 为 2。很显然这并不是一笔小开支。举个简单的例子假设参数 取值8192Transformer 层数 80上下文长度 4096精度 BF162 Byte那么单层 KV Cache 大约需要80 层累计下来就是也就是说一个拥有数千 token 上下文的大模型会话仅 KV Cache 就可能占据十 GB 量级的显存。如果进一步进行批量推理那么 KV Cache 占用还会近似放大 64 倍。因此KV Cache 虽然解决了重复计算的问题却把压力从计算转移到了内存上。于是这种内存压力又反过来驱动了注意力结构的变革和一系列配套工程优化这便是之后的内容了。