上一章中我们已经知道,Attention 的作用是让模型能够在生成每个 Token 时回看并加权所有历史信息。这解决了一个关键问题, “上下文相关性”但如果我们就草率的认为Attention 智能, 那就错了。因为仅靠 Attention其实模型还是做不到,把得到的“信息”变成“推理能力”所以其实在 Transformer 里有两个核心模块Attention负责“找关系”FFN负责“加工信息”很多人看到这里会产生一个误解,Attention 是核心FFN 是辅助?不对,这完全弄反了.在真实模型里FFN 才是参数量最大、最“像知识”的部分而 Attention 更像“信息路由系统”。所以我们先从Attention的局限性开始讲起5.1 Attention 的局限性我们先回到最早这句话小明昨天去北京出差今天他回来了。Attention 能很好解决“他”是谁北京指代什么时间关系但是我们换一个任务把这句话改写成正式邮件或者总结这段话的核心意思或者推理小明的行程逻辑Attention 马上就会遇到一个问题,它只能“关联信息”但不能“加工信息”。以做一个简单的比喻Attention,它就像一个“资料整理员”.它很擅长找相关内容做信息匹配拼接上下文但却它不擅长“加工、抽象、归纳”所以 Transformer 需要第二个模块FFN前馈神经网络,那么FFN到底是什么呢?5.2 FFN真正的“加工工厂”我们直接让Attention和FFN对比一下.Attention vs FFN模块 做什么Attention 找信息FFN 处理信息可以用后厨做一个比喻Attention后厨采购员他会查看所有食材决定买什么决定买多少FFN大厨他会将买回的食材信息加工炒至成菜肴高级特征回到模型Attention 输出的是“相关信息集合”.但 FFN 做的是把这些信息归纳总结后重新“加工成新的表达”.我们还是找到小明~输入小明昨天去北京出差今天他回来了Attention 可能输出小明 北京 出差 时间关系FFN 则会进一步加工成小明完成了一次北京出差行程所以关键区别就在于Attention 不创造信息FFN 才负责“生成新的表达能力”5.3 FFN 的基本结构在 Transformer 里它长这样输入向量↓线性变换升维↓激活函数ReLU / GELU↓线性变换降维↓输出向量用一句通俗的话讲解的话,实际上 FFN 把信息“放大 → 变形 → 压缩”的加工器这是一个比较关键的点.Attention 是多个 Token 之间的信息交互FFN 则是每个 Token 自己内部的“脑内处理”大概就是这样模块 作用范围Attention Token 之间交流FFN Token 自己思考5.4 举个例子理解 FFN我们继续用小明~,小明昨天去北京出差Attention 做的是小明 ↔ 他指代关系北京 ↔ 地点关系但 FFN 做的是“这句话整体是什么意思”把FFN 的工作方式比喻为人类学习方式的话我们可以理解为Attention—你在查资料FFN—你在理解资料继续请出我们的老演员,小明~~同一条信息小明昨天去北京出差Attention 看到的是小明北京出差时间关系但 FFN 会则会抽象和重组整个信息把这些“碎片信息”组合成一个新的表达例如一次商务出行事件注意这一步不是纯“检索”而是有计算压缩 抽象 重组5.5 FFN 的本质逐点“非线性变换”FFN 做的事情:对每一个 Token 向量单独做一次“非线性加工”什么叫非线性线性 机械加减例如小明 1 小明北京 2 北京没有意义非线性 产生新语义例如输入“小明 出差 北京”输出“商务活动” FFN 的作用就是把“简单叠加的信息”变成“新的语义结构”5.6 FFN 的关键结构升维 → 压缩这是 FFN 最核心的设计。Step 1升维Expand把一个向量768维扩展成3072维为什么要升维因为升维之后才能存储更多信息.空间变大 → 可以表达更多“组合关系”我们可以理解为原来只有一块钱,升维之后, 你就有了5块钱, 你可以购买和组合购买更多的东西.Step 2非线性变换ReLU / GELU这一层只做一件事筛选 激活 抑制