前言你是不是曾经看了不下几十篇关于Transformer的视频和教程但最后对于Q、K、V查询、键、值依然感到一头雾水简历中写的精通Transformer又害怕面试官问到别担心这是很多AI学习者的共同困惑。原来我搞了半年只搞懂前面五步确实比较难但是只要肯钻研迟早能一点一点理解。今天我不会给你晦涩的数学公式堆砌而是用一个步骤清晰例子帮你真正掌握Transformer的工作流程尤其是那个让人困惑的自注意力机制。一、为什么Transformer这么重要在ChatGPT和各种大语言模型风靡全球的今天Transformer已经成为了自然语言处理的基石。从2017年提出至今Transformer架构已经彻底改变了NLP领域的格局GPT生成式预训练Transformer系列模型基于Transformer的解码器BERT双向编码表示Transformer基于Transformer的编码器Claude、LLaMA、DeepSeek等各种顶尖模型都以Transformer为基础架构为什么Transformer能取得如此巨大的成功核心在于它能有效处理序列数据中的长距离依赖关系而这主要依靠的就是其创新的注意力机制。然而即使是许多AI从业者也往往对注意力机制的数学原理感到困惑。二、从头开始构建迷你数据集真实的语言模型通常使用海量数据训练——以ChatGPT为例其训练数据高达570GB。但为了讲清原理我们将使用一个极小的数据集进行可视化计算演示。通过这种方式我们可以亲手追踪数据在Transformer架构中的流动过程。第1步计算词汇量Vocabulary Size首先我们需要确定数据集中独特单词的总数这就是所谓的词汇量。这个概念很好理解假设我们有一段文本我喜欢机器学习机器学习很有趣分词后得到[“我”“喜欢”“机器”“学习”“”“机器”“学习”“很”“有趣”]去重后得到[“我”“喜欢”“机器”“学习”“”“很”“有趣”]所以词汇量为7。计算词汇量的步骤将整个数据集分割成单个token通常是单词或子词去除重复的token得到唯一token集合计算这个集合的大小即为词汇量在我们的迷你例子中经过上述步骤计算词汇量为23个独特单词。这个词汇表将用于后续的编码过程。第2步编码Encoding—— 将文本转化为数字神经网络无法直接处理文本我们需要将文本转换为数字表示。编码就是为每个独特单词分配一个唯一的数字ID的过程。例如我们可以这样编码“when” → 1“you” → 2“play” → 3…以此类推现代大语言模型通常不会将整个单词作为一个token而是将单词拆分为更小的部分子词或字符。例如learning可能会被拆分为learn和ing两个token。ChatGPT使用的分词规则大约是1个token ≈ 0.75个单词。这种分词方式有几个明显优势更有效地处理稀有词和未知词减少词汇表大小降低模型复杂度更好地处理多语言文本捕捉词缀和词根的语义信息编码完成后我们就可以开始处理这些数字化的文本了。第3步词嵌入Word Embedding—— 将ID转化为向量单纯的数字ID并不能反映单词之间的语义关系例如国王和皇后的关系与男人和女人的关系是相似的但从ID上看不出这一点。因此我们需要将这些ID转换为多维向量即词嵌入。假设我们选取了一个句子when you play the game of thrones作为输入。首先需要对这个句子中的每个单词生成词嵌入向量。原始的Transformer论文使用了512维的嵌入向量这意味着每个单词被表示为一个包含512个数字的向量。但为了便于我们可视化和理解本例中我们只使用6维向量。具体来说对于句子中的每个单词我们都会生成一个6维向量“when”[0.23, 0.56, 0.12, 0.87, 0.41, 0.33]“you”[0.71, 0.28, 0.59, 0.12, 0.65, 0.92]以此类推…这些词嵌入向量的初始值设置为0到1之间的随机数。随着模型的训练这些向量会不断更新逐渐捕捉到单词之间的语义关系。例如语义相近的单词如狗和猫它们的嵌入向量在高维空间中的距离会变得相对较近。第4步位置嵌入Positional Embedding—— 保留位置信息Transformer架构的一个独特之处在于它能够并行处理序列中的所有单词这大大提高了训练效率。但这也带来了一个问题模型会忘记单词在序列中的位置信息。比如猫追狗和狗追猫包含相同的单词但意思完全不同。为了解决这个问题Transformer引入了位置嵌入为每个位置生成一个独特的向量然后将其与词嵌入相加。位置嵌入的计算公式为对于偶数维度PE(pos, 2i) sin(pos / 10000^(2i/d_model))对于奇数维度PE(pos, 2i1) cos(pos / 10000^(2i/d_model))其中pos是单词在序列中的位置从0开始i是向量中的维度索引d_model是嵌入向量的维度在我们的例子中是6以句子when you play the game of thrones为例第一个词when的位置索引为0。我们需要计算它在6维空间中的位置嵌入维度0偶数sin(0 / 10000^(0/6)) sin(0) 0维度1奇数cos(0 / 10000^(0/6)) cos(0) 1维度2偶数sin(0 / 10000^(2/6)) sin(0) 0维度3奇数cos(0 / 10000^(2/6)) cos(0) 1维度4偶数sin(0 / 10000^(4/6)) sin(0) 0维度5奇数cos(0 / 10000^(4/6)) cos(0) 1因此when的位置嵌入为[0, 1, 0, 1, 0, 1]。同理我们可以计算句子中每个单词的位置嵌入。这种设计非常巧妙它使得位置嵌入具有以下特性每个位置都有唯一的编码不同位置之间的相对距离可以通过位置嵌入之间的函数关系来衡量位置嵌入的值域有界不会随着序列长度的增加而爆炸可以处理任意长度的序列即使是训练数据中未见过的长度第5步合并词嵌入和位置嵌入 —— 输入表示的完整形式将词嵌入和位置嵌入相加我们得到了每个单词的完整表示。以when为例词嵌入[0.23, 0.56, 0.12, 0.87, 0.41, 0.33] 位置嵌入[0, 1, 0, 1, 0, 1] 相加后[0.23, 1.56, 0.12, 1.87, 0.41, 1.33]这样每个单词不仅包含了其语义信息还包含了位置信息。这个合并后的向量矩阵将作为编码器部分的输入。假设我们的句子有7个单词每个单词用6维向量表示那么输入矩阵的形状为7×6。这个矩阵中的每一行对应一个单词每一列对应嵌入向量的一个维度。第6步多头注意力机制Multi-Head Attention—— Transformer的核心创新现在我们终于来到了Transformer的精髓部分——多头注意力机制。这是理解Q、K、V查询、键、值概念的关键环节。1、单头注意力机制的工作原理首先让我们理解什么是单头注意力机制。它有三个关键输入查询Query、键Key和值Value。这三个概念源自信息检索系统查询Query你想要查找的信息键Key用于索引的信息标签值Value与键关联的实际内容在Transformer中这三个矩阵是通过将输入矩阵词嵌入位置嵌入乘以三个不同的权重矩阵得到的查询矩阵Q 输入矩阵 × W^Q键矩阵K 输入矩阵 × W^K值矩阵V 输入矩阵 × W^V其中WQ、WK、W^V是需要学习的权重矩阵。以计算查询矩阵为例假设输入矩阵大小为7×67个单词每个用6维向量表示权重矩阵W^Q大小为6×4将6维降为4维那么查询矩阵Q的大小为7×47个单词每个用4维向量表示计算过程中权重矩阵的初始值为0到1之间的随机数随着训练过程会不断优化调整。同理我们可以计算出键矩阵K和值矩阵V它们与查询矩阵的维度相同在本例中都是7×4但由于使用了不同的权重矩阵所以值不同。2、注意力权重的计算 —— 注意力的含义有了Q、K、V三个矩阵接下来我们计算注意力权重。注意力权重决定了模型在处理某个位置的单词时应该关注序列中其他哪些位置的单词以及关注的程度。计算注意力权重的步骤计算注意力分数将查询矩阵Q与键矩阵K的转置相乘得到一个7×7的矩阵因为我们有7个单词。这个矩阵中的每个元素表示对应位置单词之间的关联强度。 注意力分数 Q × K^T缩放为了避免梯度消失问题将注意力分数除以键向量维度的平方根在我们的例子中是√4 2。 缩放后的注意力分数 注意力分数 / √d_kSoftmax归一化对缩放后的注意力分数矩阵的每一行应用softmax函数将每行转换为概率分布所有元素都非负且和为1。这就是最终的注意力权重矩阵。 注意力权重 softmax(缩放后的注意力分数)加权求和将注意力权重矩阵与值矩阵V相乘得到加权后的值矩阵也就是注意力层的输出。 输出 注意力权重 × V这个过程的数学表达式为Attention(Q, K, V) softmax(QK^T / √d_k) × V通过这个计算过程每个位置的输出都是所有位置的值的加权和权重由该位置的查询与所有位置的键的相似度决定。这就是注意力的本质——模型能够根据上下文动态地决定应该关注序列中的哪些部分。3、多头注意力的组合 —— 多角度观察信息单头注意力只能捕捉一种特定类型的关系模式。为了增强模型的表达能力Transformer使用了多头注意力机制即并行运行多个单头注意力然后将它们的输出拼接起来。多头注意力的步骤使用不同的权重矩阵WQ_i、WK_i、W^V_ii1,2,…,hh为头数生成多组Q、K、V对每组Q、K、V独立计算注意力输出将所有头的输出拼接起来通过一个线性变换将拼接后的矩阵映射回原始维度在原始Transformer论文中作者使用了8个注意力头。在我们的简化例子中假设我们使用2个头每个头的输出维度为2总共4维与单头保持一致。多头注意力的数学表达式为MultiHead(Q, K, V) Concat(head_1, head_2, …, head_h) × W^O其中head_i Attention(Q × W^Q_i, K × W^K_i, V × W^V_i)W^O是将拼接后的矩阵映射回原始维度的权重矩阵这种设计使模型能够同时关注不同子空间中的信息大大增强了模型的表达能力。例如一个注意力头可能关注句法关系另一个可能关注语义关联从而使模型能够全面理解文本。第7步残差连接与层归一化Add Norm—— 稳定训练的关键多头注意力的输出经过两个重要处理残差连接和层归一化。1、残差连接Residual Connection残差连接的思想来自ResNet它将多头注意力的输入直接加到其输出上输出 多头注意力(输入) 输入这种设计有几个关键优势缓解梯度消失问题使深层网络更容易训练允许信息无损地流过网络层使网络能够更容易地学习恒等映射保留已经学到的特征2、层归一化Layer Normalization残差连接后应用层归一化进一步稳定训练归一化 LayerNorm(输出)层归一化的步骤计算每一行对应一个单词的均值和标准差将每个元素减去均值再除以标准差应用可学习的缩放和偏移参数数学表达式LayerNorm(x) γ × ((x - μ) / (σ ε)) β其中μ是行均值σ是行标准差ε是一个小常数通常为10^-8防止除零错误γ和β是可学习的参数层归一化有几个重要作用减少内部协变量偏移internal covariate shift加速训练收敛提高模型泛化能力降低对参数初始化的敏感性第8步前馈神经网络Feed-Forward Network—— 增强非线性表达归一化后的矩阵通过一个前馈神经网络FFN处理这是一个包含两个线性变换和一个ReLU激活函数的简单网络FFN(x) max(0, xW_1 b_1)W_2 b_2具体步骤第一个线性变换将输入从d_model维我们的例子中是6维映射到d_ff维通常是d_model的4倍但在我们的简化例子中可以使用相同维度ReLU激活将所有负值置为0第二个线性变换将特征映射回d_model维以我们的例子来说输入矩阵大小为7×6第一个权重矩阵大小为6×6得到7×6的输出应用ReLU激活第二个权重矩阵大小也为6×6最终输出大小为7×6前馈网络的主要作用是增强模型的非线性表达能力让模型能够学习更复杂的特征变换。每个位置的前馈网络是独立的所以可以看作是对每个位置进行独立的特征处理。第9步再次进行残差连接与层归一化 —— 深层网络的稳定器前馈网络的输出再次与其输入即上一步的归一化输出相加然后再次进行层归一化输出 LayerNorm(FFN(归一化) 归一化)这个连续的残差连接和层归一化过程对于构建深层Transformer至关重要它能够有效防止梯度消失和梯度爆炸问题使得网络可以轻松堆叠多层而不影响训练稳定性。完成这一步后我们得到了编码器的最终输出。这个输出将作为解码器中跨注意力层的键和值输入。第10步解码器部分 —— 从理解到生成解码器的结构与编码器类似但有两个关键区别解码器包含一个额外的跨注意力层用于处理编码器的输出解码器中的自注意力层是带掩码的确保预测位置i只能访问位置0到i-1的信息解码器有两个主要输入来自编码器的输出作为跨注意力层的键K和值V目标序列的嵌入作为自注意力层的输入和跨注意力层的查询Q1、训练阶段与推理阶段的区别在训练阶段目标序列是已知的目标文本。例如如果编码器的输入是when you play the game of thrones解码器的目标可能是you win or you die。而在推理生成阶段解码器是逐步生成文本的首先输入起始标记生成第一个词如you将 you作为新的输入生成第二个词如win将 you win作为新的输入依此类推直到生成结束标记或达到最大长度限制2、掩码多头注意力的工作原理 —— 防止作弊掩码多头注意力是解码器的一个关键组件它确保模型在预测第i个词时只能看到前i-1个词的信息而不能偷看未来的信息。比如在预测you win or you die中的or时模型只能看到you win而不能看到后面的you die。具体实现方法是在注意力分数矩阵中应用掩码创建一个上三角全为负无穷的掩码矩阵将此掩码加到注意力分数矩阵上应用softmax函数由于exp(-∞) ≈ 0所以经过softmax后未来位置的注意力权重接近0从而实现了看不到未来的效果。掩码多头注意力的数学表达式为MaskedAttention(Q, K, V) softmax((QK^T / √d_k) Mask) × V这种机制对于序列生成任务至关重要因为它符合人类自然语言生成的顺序特性——我们写一个句子时也是一个词一个词地写而不是一次性写出整个句子。第11步预测单词 —— 从特征到词汇解码器的最终输出通过一个线性层和softmax函数转换为词汇表中各个单词的概率分布线性变换将解码器输出从d_model维6维映射到词汇量大小23维应用softmax函数得到每个单词的生成概率选择概率最高的单词作为预测结果例如如果经过计算you的概率为0.85其他单词的概率都小于0.05那么模型会选择you作为当前步的预测结果。这个预测的单词将作为下一步解码器的输入整个过程不断重复直到生成特殊的结束标记或达到最大长度限制。三、总结至此我们已经详细拆解了Transformer的每一个组件和工作步骤。Transformer的强大之处主要体现在以下几点并行计算与RNN不同Transformer能够并行处理整个序列大大提高了训练效率。长距离依赖通过自注意力机制Transformer能够直接建立序列中任意两个位置之间的联系有效捕捉长距离依赖关系克服了RNN中的梯度消失问题。多头机制多头注意力允许模型同时关注不同子空间的信息增强了模型的表达能力。残差连接残差连接和层归一化的组合使得Transformer能够轻松堆叠多层构建深层网络。虽然现代的大语言模型如GPT、LLaMA、Claude、DeepSeek等在Transformer的基础上做了很多改进和优化但核心的注意力机制原理仍然不变。理解了Transformer的工作原理你就掌握了理解现代大语言模型的基础。希望这篇文章能帮助你真正理解Transformer中那些让人困惑的Q、K、V到底是什么以及它们如何协同工作构建出如此强大的模型架构。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】