一、RNN 的两个缺陷1. 串行计算无法并行RNN 的计算依赖于上一个时刻的隐藏状态Hidden Stateh_t f(W * x_t U * h_{t-1})什么是 Hidden State 是 RNN 在当前位置输出的“记忆向量”压缩了从开头到当前位置的全部信息就像一个读完半句话后大脑里的“语义摘要”2. 梯度消失与长距离遗忘RNN 在反向传播时梯度经过多次连乘会趋近于 0梯度消失导致模型无法学习远距离的依赖关系。同时Hidden State 容量有限早期信息在长序列中逐渐被“冲淡”造成遗忘。二、Transformer 如何解决这两个问题1. 并行计算能力Attention Multi-HeadSelf-Attention 让每个 token 直接与整个序列中所有 token 计算相似度这些计算互不依赖可以完全并行。Multi-Head Attention 的进一步优化随机初始化多个不同的参数矩阵W_Q、W_K、W_V每个“头”独立训练模型在训练中自动学会关注不同维度的关系如语法、语义、指代等最后将所有头的输出拼接用一个线性层融合Multi-Head Attention 允许模型从多个表示子空间同时关注不同位置的信息不同的头可以捕捉不同类型的关系。2. 直接建立长距离依赖AttentionRNN 的 token 之间路径长度为 O(n)信息需要一步步传递而 Attention 让任意两个 token 直接相连路径长度恒为 O(1)。所以“遗忘前面信息”的问题从根本上被解决。3. 残差连接Residual Connection解决梯度消失公式输出 模块(输入) 输入反向传播时梯度可以通过“ 输入”这条高速通道直接传到前层有效缓解了深层网络的梯度消失。同时每一层学习的只是对输入的“修正增量”原始信息一直保留。4. LayerNorm 稳定训练LayerNorm 对单个样本的所有特征维度做标准化均值 0方差 1让每一层输入的数据分布保持稳定。这加速了收敛也让训练更稳定。三、Transformer Block 完整结构输入 → Multi-Head Self-Attention → 残差连接 → LayerNorm → FFN → 残差连接 → LayerNorm → 输出残差连接保留原始输入防止梯度消失LayerNorm标准化数据分布稳定训练FFN对聚合后的信息做非线性深度加工知识存储和推理四、Transformer vs RNN 对比总结维度RNNTransformer计算方式串行并行长距离依赖弱梯度消失 信息遗忘强Attention 直接连接训练效率慢快位置信息天然有序需要 Positional Encoding 显式注入并行能力无强核心机制循环 Hidden StateSelf-Attention FFN稳定性梯度易消失残差 LayerNorm 保证稳定