1. 从循环到注意力序列建模的范式革命2017年之前处理序列数据的主流方法是循环神经网络RNN及其变体LSTM、GRU。这些模型像传送带一样逐个处理输入数据每个时间步的隐藏状态都依赖于前一个时间步的计算结果。这种串行处理方式带来了两个致命缺陷一是难以并行计算二是长距离依赖信息容易丢失。想象你在阅读一本小说时每次只能通过前一句话来理解当前句子。这种阅读方式不仅效率低下还容易遗漏跨章节的情节关联。传统RNN面临的正是这样的困境。Transformer的突破性在于完全摒弃了循环结构转而采用自注意力机制作为核心计算单元。这种机制让模型能够像人类阅读时回看关键信息一样直接建立序列中任意两个位置的联系。具体来说并行计算所有位置的注意力权重可以同时计算充分利用GPU的并行计算能力全局感知每个位置都能直接访问序列中所有其他位置的信息不受距离限制动态聚焦注意力权重根据当前查询动态调整比固定窗口的卷积更灵活在机器翻译任务中这种架构优势体现得尤为明显。传统RNN需要几十步才能将句首信息传递到句末而Transformer只需一层注意力就能建立全局关联。实际测试表明基于Transformer的翻译模型在WMT2014英德翻译任务上达到了28.4 BLEU比当时最优模型提升超过2个BLEU值。2. 自注意力机制Transformer的核心引擎2.1 查询-键-值QKV模型自注意力机制的核心思想可以类比信息检索系统给定一个查询Query通过计算其与各个键Key的相似度最终返回对应值Value的加权和。具体实现包含三个关键步骤相似度计算使用点积衡量查询与键的匹配程度权重归一化通过softmax将相似度转换为概率分布信息聚合用归一化权重对值进行加权求和数学表达式如下Attention(Q, K, V) softmax(QK^T/√d_k)V其中除以√d_k的操作是为了防止点积结果过大导致softmax梯度消失。2.2 缩放点积注意力的设计考量为什么选择点积而非加法作为相似度计算方式主要基于三点考虑计算效率矩阵乘法在现代硬件上高度优化比加法操作更快空间节省不需要存储额外的参数矩阵实践效果当维度d_k较小时两种方式性能相当但维度较大时缩放点积更稳定实测表明在d_k64的设定下缩放点积注意力既能保持数值稳定性又能获得与更复杂注意力机制相当的性能。3. 多头注意力并行化的信息处理专家3.1 多头设计原理单一注意力机制存在一个明显局限所有位置共享相同的表示空间难以同时关注不同类型的信息。这就像要求一个翻译人员既要把握语法结构又要理解俚语含义还要注意专业术语——对单个人来说负担过重。Transformer的创新解决方案是将注意力拆分为多个头MultiHead(Q, K, V) Concat(head_1,...,head_h)W^O where head_i Attention(QW_i^Q, KW_i^K, VW_i^V)每个头都有自己的投影矩阵W_i^Q, W_i^K, W_i^V可以将输入映射到不同的子空间。典型的配置是8个头每个头的维度d_kd_vd_model/h64。3.2 多头注意力的三大应用场景编码器自注意力建立输入序列内部的全局依赖解码器自注意力确保当前位置只能访问之前位置的信息通过掩码实现编码器-解码器注意力连接源语言和目标语言的语义对应关系在翻译任务中这种设计让不同头可以专注于语法结构如主谓一致语义角色如动作-受事关系指代消解如代词与其指代对象专业术语对应4. 位置编码弥补非循环架构的时序感知4.1 为什么需要位置信息纯注意力机制有一个固有缺陷它对输入序列的排列顺序是不敏感的。这意味着打乱句子中的单词顺序不会改变注意力计算结果——这显然不符合语言处理的实际情况。Transformer采用了一个巧妙的解决方案正弦位置编码。对于位置pos和维度i编码值为PE(pos,2i) sin(pos/10000^(2i/d_model)) PE(pos,2i1) cos(pos/10000^(2i/d_model))4.2 正弦编码的独特优势相对位置感知通过三角函数的线性组合性质模型可以学习到相对位置关系长度外推训练时未见过的序列长度也能生成合理的编码与词嵌入兼容与词嵌入维度相同可以直接相加相比可学习的位置嵌入正弦编码在长序列任务中表现更稳定。实验显示在解析任务中使用正弦编码的模型对长句子的处理能力显著优于学习式编码。5. 前馈网络与残差连接注意力之外的必备组件5.1 位置级前馈网络每个注意力层后面都跟着一个两层的前馈网络FFN(x) max(0, xW1 b1)W2 b2虽然形式上类似全连接层但有两个关键区别独立处理每个位置单独计算不跨序列位置共享信息维度扩展中间层维度d_ff2048远大于输入维度d_model512这种设计为模型提供了非线性变换能力可以看作是对注意力结果的精加工。5.2 残差学习与层归一化Transformer采用了两种重要的训练技巧残差连接将子层输入直接加到输出上缓解深层网络梯度消失层归一化对每个子层输出进行标准化稳定训练过程具体实现为LayerNorm(x Sublayer(x))这种组合使得6层甚至更深的Transformer能够稳定训练。在英法翻译任务中6层模型仅需3.5天训练就在8个GPU上达到了41.8 BLEU的新纪录。6. 架构优势解析为什么注意力比循环/卷积更好6.1 计算复杂度对比层类型每层复杂度最小顺序操作数自注意力O(n²·d)O(1)循环层O(n·d²)O(n)卷积层O(k·n·d²)O(log_k(n))当序列长度n小于表示维度d时常见于机器翻译自注意力在计算效率上具有明显优势。6.2 长距离依赖学习衡量信息路径长度的关键指标循环网络需要O(n)步才能建立远距离连接卷积网络需要O(n/k)或O(log_k(n))层自注意力只需O(1)层即可建立任意距离连接在文本生成任务中这种特性使得模型能够更好地保持长程一致性避免早期RNN常见的话题漂移问题。7. 实践启示与工程优化7.1 训练技巧原始论文中几个关键的超参数选择学习率调度线性预热4000步后逆平方根衰减残差Dropout对子层输出、嵌入求和结果应用P_drop0.1标签平滑使用ε0.1提升模型校准性7.2 硬件利用基础模型在8个P100 GPU上的训练效率每步约0.4秒10万步共需12小时内存占用优化使得批次可包含约25000个标记这种高效的并行计算能力使得Transformer相比传统RNN能够更快地迭代实验加速研究进程。