在学习大语言模型时我们几乎都会遇到一个问题为什么 GPT、Qwen、Llama 等大模型都采用 Transformer而不是曾经流行的 RNN 或 LSTM事实上在 Transformer 出现之前循环神经网络RNN已经是自然语言处理领域最主流的模型。但随着模型规模不断扩大RNN 的局限性越来越明显。2017 年 Google 提出的 Transformer彻底改变了这一局面也成为如今所有大语言模型的基础。从 RNN 开始说起RNNRecurrent Neural Network最大的特点就是拥有记忆。它处理一句话时并不是一次性看到整个句子而是一个词一个词地读取。例如Datawhale Agent learns quickly模型会依次读取Datawhale ↓ Agent ↓ learns ↓ quickly每读取一个词都会更新一次隐藏状态Hidden State并把这个状态继续传递给下一时刻。因此它理论上能够记住之前出现的信息。RNN 为什么越来越难用了虽然 RNN 能处理序列但它存在两个非常明显的问题。1. 无法并行计算RNN 必须按照顺序计算。例如第1个词 ↓ 第2个词 ↓ 第3个词 ↓ 第4个词只有第一个词计算完成后第二个词才能开始。一句话越长计算速度越慢。这对于今天拥有几十亿甚至几千亿参数的大模型来说几乎无法接受。2. 长距离依赖问题还有一个经典问题叫做Long-term Dependency长期依赖举个例子小明昨天在北京参加了一场非常重要的人工智能大会 ...... 最后他获得了一等奖。模型预测他是谁时需要记住前面很远的小明。RNN 在训练过程中会不断传播梯度。当句子越来越长时梯度会越来越小梯度消失导致模型逐渐忘记前面的信息。后来虽然提出了 LSTM通过遗忘门、输入门和输出门改善了这个问题但仍然没有解决顺序计算的问题。Transformer 是怎么解决这些问题的2017 年《Attention Is All You Need》论文提出了 Transformer。它最大的改变只有一句话完全放弃循环结构只使用 Attention。也就是说模型不用再一个词一个词处理。而是一次看到整个句子。例如北京 今天 天气 很 好Transformer 会同时处理所有词。GPU 可以一次完成所有计算因此训练速度提升了很多倍。这也是 Transformer 能不断扩大模型规模的重要原因。Attention 到底是什么Attention注意力机制的思想其实非常符合人类阅读习惯。例如The agent learns because it is intelligent.看到it我们会立即想到agent而不是becauseTransformer 就是在做同样的事情。它会计算当前词应该重点关注哪些词。相关程度越高权重越大。最终综合这些信息生成新的表示。整个过程可以表示为经典公式Attention(Q,K,V) Softmax(QKᵀ/√dk)V其中QueryQ当前词提出的问题KeyK每个词对应的索引ValueV每个词真正携带的信息模型通过计算 Q 和 K 的相关程度再利用对应的 V 完成信息融合。为什么还要使用 Multi-Head Attention如果只有一个 Attention模型往往只能关注一种关系。例如只关注主语。但是一句话中可能同时存在主谓关系指代关系时间关系地点关系因此 Transformer 把 Attention 分成多个 Head。每个 Head 学习不同的信息。最后再把所有结果拼接起来。这样模型能够同时关注多种语义关系因此表达能力更强。Transformer 为什么还需要位置编码Attention 有一个天然缺陷它不知道词语的顺序。例如Agent learns和Learns Agent对于 Attention 来说只是两个词。它不知道谁在前谁在后。因此 Transformer 会给每个词增加一个位置向量Positional Encoding。最终输入模型的是词向量 位置向量这样模型既知道词义也知道词所在的位置。为什么今天的大模型都采用 TransformerTransformer 相比 RNN 的优势主要体现在以下几个方面支持并行计算训练速度更快能捕获长距离依赖不容易遗忘前文注意力机制能够动态关注重要信息更容易扩展到数十亿甚至万亿参数。正因为这些优势如今几乎所有主流大语言模型包括 GPT、Llama、Qwen、DeepSeek 等都建立在 Transformer 架构之上。总结Transformer 的出现是自然语言处理领域的重要转折点。它用注意力机制取代了循环结构不仅解决了 RNN 难以并行计算和长期依赖的问题还为后续的大语言模型提供了统一的基础架构。可以说没有 Transformer就不会有今天的大语言模型也不会有如今快速发展的智能体Agent应用。