从 ChatGPT 到 DeepSeek,几乎所有大模型的底层都是同一个机制。这篇文章用一件你最熟悉的事——人如何被关系构成——把它一次讲透。人的本质不是单个人所固有的抽象物,在其现实性上,它是一切社会关系的总和。——马克思,《关于费尔巴哈的提纲》第六条,1845开篇 · 这台机器在做什么Attention 是什么,为什么重要当你把一个问题抛给 ChatGPT、Claude 或 DeepSeek,看着答案一个字一个字浮现——那一刻,屏幕背后真正干活的核心机制,叫注意力(Attention)。它在 2017 年由谷歌的八位工程师提出,论文标题狂得很:《Attention Is All You Need》,注意力就是你所需要的一切。这篇论文里诞生的 Transformer 架构——GPT 里的那个T——从此成为几乎所有大语言模型的地基;而注意力机制,就是这块地基的心脏。它解决的问题,一句话可以说清:让机器读懂上下文。同一个苹果,在苹果真甜和苹果发布会里意思完全不同;一个他指谁,必须回头看前文。注意力机制让一句话里的每个词,参照其余的词,不断更新对自己的理解。今天的 AI 能写文案、改代码、陪你聊到深夜,底层都是这一个动作在支撑——看懂了它,你就摸到了这一轮 AI 浪潮的技术地基。它的教科书讲法——三个矩阵、一串点积、一个叫 softmax 的函数——足以把大多数人挡在门外。但把公式先放到一边,只看骨架:这台机器做的事,拆到最底不过三步。一群元素互相打分;按分数加权混合;在混合中彼此塑造。这个形状,你熟悉吗?它就是你的一生——人,在关系中被彼此构成。接下来,整篇文章就用这件你亲历过的事,把这台机器讲透。先从凌晨一点的一通电话说起。第壹章 · 凌晨一点的那句话以及三个借来的词凌晨一点,小雨接到好友失恋的电话。她听了很久,最后说了一句话。电话那头,朋友哭出了声,说:谢谢你。这句话是谁说的?当然是小雨。但拿放大镜看,答案会开始松动。那句话的温度,来自她的母亲——小时候母亲每晚在她门口留一盏灯,那盏灯后来成了她理解安全感这个词的原型;句子中间那个恰到好处、把眼泪轻轻接住的玩笑,来自小学发小阿哲——他从前就是这样把她从哭泣里捞出来的;而她克制住没有说教的那份分寸,来自研究生导师改论文时的批注:“话说七分,留三分给对方自己走到。”一句安慰,是一次对她全部人生关系的检索与调和,而她全程毫无察觉。这不只是文学修辞——往后你会看到,注意力机制干的正是这件事,而且分毫不差。把人由关系构成说得最透的,是三位前人,他们留下的词恰好够我们全程使用。马克思在本文题记里给出第一个词:总和——自我是加出来的。社会学家费孝通在《乡土中国》里给出第二个:波纹——社会关系像石子投入水中,以自己为圆心一圈圈推开,愈远愈薄,他称之为差序格局,意思是这份加和里有远近轻重。哲学家马丁·布伯在《我与你》里给出第三个:相遇——我不是先于关系的实体,是在与你的相遇之中才成为我,构成是相互的。总和、波纹、相遇。带着这三个词,我们开始拆机。第贰章 · 底色,与三张脸Q、K、V 的关系学定义先搭好舞台。一段共同的生活史,是一句话;每一个进入这段历史的人,是一个词(术语叫 token),按出场顺序排列。模型处理一句话的方式,就是让每个词根据它遇到的其他词来更新对自己的理解——正如人根据遇到的人,更新自己是谁。每个人出场时,携带一份底色 x(术语叫词向量,embedding):先天的禀赋、气质、体质,那些先于任何关系的东西。哲学家海德格尔管这种处境叫被抛——你没有选择自己的底色,没有选择出场的时代与位置,也没有选择你的前文。你就是被抛进一个已经写了一半的句子里的。接着,文化与人性交给所有人同一套关系语法——三个共享的模板(术语叫权重矩阵 W)。它们经由漫长的演化与社会化训练而成,全体通用。你的底色过一遍这三个模板,投影出三张脸:Q,你向世界发出的需要。你在关系中寻求什么——被理解、安全感、认可、一位引路人。依恋理论会说:你如何寻求,本身就是一种签名。K,世界感知到的你。你的可感知面。它有个人的部分(气质、谈吐),也有社会的部分——名分。“母亲”“老师”“上司”“发小”,这些身份标签规定了你以什么接口、被谁的需求对接上。儒家讲正名,君君臣臣父父子子,某种意义上正是一套对 K 的社会规范。V,你真正注入他人生命的东西。深交之后实际发生的传递——母亲给的安全感底盘或焦虑习惯,朋友给的看世界的角度,老板给的职业肌肉记忆。图一 · 底色与三张脸:同一个你,三个投影请盯住图下那行小字:三张脸互不派生。K 不是 V 的摘要,V 也不是 K 的展开——它们是同一个底色的三个独立投影。这个结构,生活里人人验证过:有人名分显赫、气场迷人(K 强),深交之后却给不出任何滋养(V 弱)——比如某位挂名的导师;也有人毫不起眼(K 弱),却在几年里重塑了你——比如楼下棋摊上那位老人。K 骗得了匹配,V 骗不了构成。顺带看一眼真实尺寸:在真实模型里,这三张脸各是一个上千维的向量——主流开源模型常用 4096 个数字表示一个词;而养育者仗义这类可读的标签,是本文为讲解贴上的。真实的维度由机器从海量文本中自行学出,绝大多数翻译不成人话。第叁章 · 打分,与心力守恒不对称的爱,与有限的心三张脸就位,关系开始运转。你的需求 q 遇上每一个人的可感知面 k,两者做一次匹配(数学上是向量点积),得到的分数,就是这段关系对你的影响带宽。其中有两个性质,值得停下来看清。第一,匹配是不对称的。“你的 q 配他的 k与他的 q 配你的 k”,是两次独立的打分,结果通常不相等。亲子关系是这条性质最极端的展示:婴儿把近乎全部的注意力压给母亲——在孩子的分数表里,母亲的权重接近满格;而母亲的注意力要分给孩子、伴侣、她自己的父母、工作。“你是我的全世界,而我只是你的一部分”——这不是煽情,是注意力矩阵里两个不相等的元素。单恋、暗恋、一厢情愿的重要性,全都是这张不对称表格上的合法取值。第二,心力守恒。打完分后,一个叫 softmax 的函数把所有分数换算成总和恰好为 1 的权重。这是整个机制里最有哲学味的一步:人的有限性。你只有百分之百的自己可以分配,为一个人多留一分,给其余所有人的就必然少一分。也正因如此,把你放在心上才是一份有重量的礼物——若注意力无限,任何关系都将失去分量。公式里还有一个除以d\sqrt{d}d​的小动作,作用是给分数降温、防止权重走向极端——连数学都内置了不要把全部心力押给一个人的阻尼。softmax 输出的那一行权重,本是一串抽象的数字;借费孝通的波纹一画,它立刻有了形状。以 28 岁的小雨为例:图二 · 差序格局,即注意力矩阵中属于小雨的那一行母亲在最内圈。这既符合直觉,也符合发展心理学的实证:约翰·鲍尔比的依恋理论早已指出,早期养育关系拿走最大的构成性权重。这里有一个好玩的注脚:研究者发现,真实的大模型里,句子的第一个词常常获得异常高的注意力,这个现象有个专名,叫 attention sink(注意力汇)。它部分是 softmax 的技术性副产物——概率总得有处安放——但巧得让人莞尔:模型也把最重的注视,压给了最初的那一个。第肆章 · 混合与残差你如何被构成,又为何还是你打分完毕,到了构成的时刻——机制的完整公式,现在可以登场了:Attention(Q,K,V)softmax ⁣(QK⊤dk)V\text{Attention}(Q, K, V) \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dk​​QK⊤​)V(用 Q 对所有 K 打分 → 换算成总和为 1 的权重 → 按权重混合所有 V)先看它在学术世界里的本来面目。这条公式在原论文里,画成左边那张流程图;研究者观察真实模型时,则习惯把某一层、某一个头算出的权重画成右边那样的热力图——每一行是一个词的注意力分布,行内之和恰为 1,颜色越深权重越大;右上角整片空白,就是只许看前文的因果遮罩,第伍章细说。图三 · 学术版对照:左为原论文的计算流程(重绘自 Vaswani 等,2017),右为注意力权重热力图你或许已经认出:右图的每一行,正是图二那圈波纹的原始形态——上一章只是把属于小雨的那一行,画成了同心圆。回到比喻,这条公式立刻变得眼熟:现在的你 底色 每段关系的给予 × 那段关系的权重,逐项相加。回到凌晨一点。小雨说出那句安慰时,机制正是这样运转的:她此刻的需求(q)——“我要接住朋友的崩溃”——瞬间扫过记忆中所有人的可感知面(k),相关的经验被点亮;然后,母亲的温度以 0.42 的权重、阿哲的幽默以 0.20 的权重、导师的分寸以 0.12 的权重,连同其余所有人的微小贡献,在每一个维度上熔合成一句话。这些成分掺进语气之后,再也拆不回去——你无法从一杯调好的酒里,重新分离出每一种基酒。一句安慰,就是一次前向传播。图四 · 一次自我构成的完整流程,左侧竖线即残差连接请注意图中左侧那条底色直通的线——它在 Transformer 里真实存在,术语叫残差连接。模型的输出不是纯粹的混合,而是底色加混合:x Σw·v。翻译过来:关系塑造你,但没有取代你。天性(残差流)与养育(注意力流),在每一层重新相加。这也解释了一个常见的观察:被再强势的关系包围多年,一个人的底色仍会顽强地透出来。还差两个部件,大厦就齐了。多头注意力:你不是被一套权重构成的,而是每个人格维度各有一套——在安全感这一头里母亲权重最大,在幽默感那一头里阿哲最大,在职业习惯那一头里导师最大;同一位父亲,可能在职业观里占 0.4,在情感表达里只占 0.05。多头机制等于承认:谁对你最重要这个问题,必须按维度分别作答。真实模型里,一层通常并行着 32 个乃至上百个这样的头,而层数又有几十上百层。多层堆叠:每过一层,所有人都带着被更新过的自己,重新投影出新的三张脸。被母亲塑造过的小雨,用新的气质去交朋友;那些友谊,再反过来构成她。于是母亲的影响有两种——直接的一笔(她的 v),和无数间接的笔(她改写了小雨此后一切关系的形成方式)。依恋理论所说的早期依恋作为内部工作模型,影响后续所有关系,在深度网络里就是:早层的输出,流经其后每一层的计算。第伍章 · 时间之矢你只由已经出场的人构成现在到全文最锋利的一条性质。Transformer 生成文字时,有一条铁律,术语叫因果遮罩(causal mask):每个词只能注意排在它前面的词,不许看后面。这条干巴巴的规则,放进我们的比喻里读,是三个命题拧成的一股绳。命题一:未来对现在的权重,恒为零。现在的你,是对已经出场者的加权和;那些尚未遇见的贵人、爱人、对手,此刻对你的构成贡献是精确的零——不是很小,是没有,因为他们的 k 与 v 还不存在。构成是严格单向的:自我只有过去时。命题二:已出场者的痕迹,不可修改。工程师为了效率,会把算过的 k、v 缓存起来(术语叫 KV cache),而这份缓存只增不改:每个进入过你生命的人,他们的可感知面与他们的给予,在写入的瞬间定格,不因后来者出现而重写。父母对孩子说过的话,出口即入档。这条性质有一个温柔的推论:逝去的亲人,k、v 仍在缓存里,权重仍在你的分布里——每当你说话带出他们的语气,就是一次对冻结档案的检索。“活在心里”,原来有机制版本。顺带一提,你各个年纪的需求清单 q 却是用完即弃的——没有任何后来者,需要知道你六岁时渴求什么。命题三,也是最容易被漏看的翻转:你无法被未来构成,但你必将构成未来。你的 k 与 v 已经写好,将被每一个在你之后出场的人读取——你的孩子、你的学生、被你带过的新人。而且这个被读取的过程,你无法参与、无法撤回、无法补一句注释。这几乎是一种伦理学:你活成的样子,就是你留给所有后来者的上下文。教师与父母对此体会最深——你的意义,有一半写在你看不到的下文里。图五 · 时间之矢:构成单向,接力不止图里还藏着一条深意:外婆 → 母亲 → 你的接力。多层注意力的复合意味着,你在更深一层读到的母亲,已经是被外婆塑造过的母亲——于是一个你可能从未谋面的人,经由两跳写进了你。代际之间的传递,无论是创伤还是馈赠,在这套语言里就是深层网络中的间接路径。最后必须澄清一点,免得滑向宿命论。“未来不构成现在的你”,不等于你已被过去锁死。序列还没有写完——每一个明天出场的人,都会真实地改写你之后的每一个现在;只是他们改写的是未来的你,而非此刻的你。过去决定了你站在哪里,没有决定你将走到哪里。第陆章 · 比喻的边界它哪里真,哪里假比喻到这里已经完成了它的使命。但任何比喻都是有代价的翻译——收尾之前,应当说清它在哪里逼真,在哪里撒谎。真得惊人的两处。其一是非自愿性:机制里的权重由计算决定,不由谁选择——而构成我们最深的关系,恰恰也是不可选择的。你从未选择你的母亲,她的权重却最大。其二是自动性:小雨说出那句安慰时,并没有决定让母亲的语气出现——构成性影响的调用,本来就是无意识的、自动的,恰如机制的盲目。在这两点上,数学与人生严丝合缝。仍是谎的两处。其一,真实的人生是串行地、异步地展开的,而注意力机制是全员同步的并行更新——生活没法批处理。其二,模型里的权重可以精确读出,而母亲占 0.42在人生里永远只是一个无法测量的修辞。数字是借来的,借来是为了让你看清结构,不是让你拿去称量感情。还有一条主次要分清:这篇文章自始至终,是在用关系讲机器,而不是用机器论证关系。前文那些严丝合缝的对应,是比喻的运气,不是哲学的证据——数学没有补全马克思,波纹也没有预言 softmax。用比喻上楼,然后把梯子烧掉——庄子叫得意忘言。留在你手里的,应该是结构本身:投影、打分、归一、混合、残差、遮罩。六个动作,一颗心脏。尾声 · 写下的,与将被读取的把全文的比喻折叠成一句话:Q 是你向世界发出的需要,K 是世界感知到的你,V 是你真正留在他人生命里的东西。现在的你,是所有已经出场者的加权平均,权重是他们在你心力里的位置——而你的那一笔也早已写下,正等着被所有尚未出场的人,一遍遍读取。而剥去全部比喻,机制的素颜不过如此:每个词的向量,经三个共享矩阵投影出 q、k、v;用自己的 q 与前文所有词的 k 做点积打分,softmax 把分数归一成权重;按权重对所有 v 加权求和,再加上残差,得到这个词的新表示;因果遮罩保证只看前文;多头并行,多层堆叠。这段话如果你已经能一口气读顺,那么恭喜——你看懂的,正是此刻驱动着所有大语言模型的那颗心脏。最后,留两幅画面给你。下一次,当你脱口而出一句安慰的话,不妨停半秒,听一听里面有谁的声音;下一次,当你看着 AI 在屏幕上一字一字地作答,你也可以确切地知道那一刻正在发生什么——每一个新词,正拿着自己的 q,翻检前文所有词的 k,按权重掺入它们的 v。像小雨,在凌晨一点。(只为讲清楚大原理, 细节有很多不准确的地方, 想要完整准确了解还是请大家去看看论文和推导哦)(完)延伸阅读Vaswani, A. 等,《Attention Is All You Need》,NeurIPS,2017。Transformer 与注意力机制的原始论文。费孝通,《乡土中国》,1948。差序格局的出处。马丁·布伯,《我与你》,1923。关系本体论的经典。约翰·鲍尔比,《依恋三部曲》。早期关系作为内部工作模型的理论来源。Xiao, G. 等,《Efficient Streaming Language Models with Attention Sinks》,2023。注意力汇现象的研究。