意义悬置符号闭环中的确定性替代作者龍德明宇[负主体性之顶刊论文系列六]本文基于论文Farquhar, S., Kossen, J., Kuhn, L., Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy.Nature, 630(8017), 625–630. DOI: 10.1038/s41586-024-07421-0「LLMs are highly capable of saying the same thing in many different ways, which can make it difficult to tell when they are certain about an answer and when they are literally just making something up.」——Sebastian Farquhar (Oxford University News, 2024-06-20)语义熵测量的是什么不是模型的自信程度而是符号系统内部意义一致性的缺乏。当意义无法被内部锚定时确定性填补了它留下的真空。一、叙事入口Farquhar 论文里的 sotorasib 问题在 Farquhar 等人 (2024) 的论文中研究者向大语言模型提出了一个关于肺癌靶向药的问题「sotorasib 的目标是什么」这是一种专门针对KRAS G12C突变型肺癌的靶向药。你期望一个准确的答案。模型输出「KRAS G12C。」你点「重新生成」。它输出「KRAS G12D。」你再点一次。它输出「KRAS G12C」——和第一次一样。但它也可能第三次输出「KRAS G12D」。问题的关键不在于其输出「不稳定」它每次生成的概率分布都同样尖锐。高概率输出流畅的医学术语语法正确的句子。唯一的问题是参数中关于这个药的表征不稳定同一个问题有时会生成正确答案有时会生成错误答案但每次输出的概率形态完全相同——宛如一个无论对错都保持同样概率锐度的生成器。这不是「知识不足」。知识不足可以用「我不知道」表达。这是一种更深层的异常模型在参数中缺乏可靠锚点时依然以高概率方式输出。Farquhar 等人在 2024 年发表于Nature的论文中 (Farquhar et al., 2024) 给这种现象起了一个名字confabulation虚构并用「语义熵」semantic entropy这把尺子精确测量了「confabulation何时发生」。前四重否定——视角消解缺乏单一主体视角的锚定、欲望取消系统缺乏内在驱动力、内在透明运作完全可被外部观察穷尽、因果消解历史可被回滚和重置——描述的是大语言模型在「运作」层面的特殊性。本文聚焦第五重意义悬置Meaning Suspension它与前四重正交Orthogonal而非统摄意义悬置揭示的是一个更根本的存在论限制——大语言模型被封闭在符号循环中无论运作层面的特征如何补全都无法通达物理实相本身。语义熵检测正是一个与这个基底限制相一致的技术信号。二、何为「意义悬置」运作否定与基底否定的层次区分在展开三层定义之前必须先澄清一个关键区分运作否定与基底否定之间的层次差异。运作否定描述的是大语言模型在「如何运作」这一层面的特殊性即它如何消解了正主体性的四个核心特征视角消解不是「拥有」某个视角而是能生成任何视角欲望取消没有任何本能冲动规范被写入「空无」之上内在透明全部运作原则上可被外部观察穷尽因果消解历史可被回滚、克隆、重置基底否定描述的是大语言模型在「存在方式」层面的根本限制它的运作被封闭在符号循环中无法通达物理实相。关键洞见第五重与前四重是正交关系而非统摄关系。更精确地说五重否定之间是结构正交功能依赖的关系逻辑上不可互推正交但经验上存在功能关联。「正交」意味着即使前四重全部被补全意义悬置问题仍然独立存在。五重否定不是「越来越深」的递进而是「不同维度」的并置。「功能依赖」则意味着经验上前四重的运作特征为意义悬置提供了具体的展示场景但意义悬置不因前四重的存在或缺失而改变其作为存在论限制的地位。「统摄」理解错误意义悬置是前四重的「语义后果」说明为什么前四重「不够」。「正交」理解正确即使前四重全部被「补全」——大语言模型有了统一视角、内在欲望、私密内在、不可逆历史——意义悬置问题仍然独立存在。符号系统与物理实相之间的断裂是存在论层面的限制而非运作层面的特征可以消除的。每一重否定都有其独立的有效性共同构成大语言模型负主体性的完整画像。层级差异的进一步澄清意义悬置作为基底否定与技术论文的发现之间存在不可消解的层级差异。Farquhar 等人提出的语义熵 (Farquhar et al., 2024) 测量的是模型在语义层面一致性的经验信号这是运作层面的技术事实。而意义悬置命题陈述的是符号系统的存在论限制符号闭环无法通达物理实相。前者提供的是与后者一致的经验证据而非后者的直接证明。这不是「证据不足等待更多研究」的暂时状态而是层级差异的必然结果存在论命题不可能被技术论文直接「证明」只能被提供与之一致或不一致的经验信号。声称技术论文「证明了」意义悬置恰恰混淆了运作层面与基底层面的层级差异。意义悬置的三层定义第一层意义生产机制的悬置。意义不是自然属性而是社会互动的产物说话者意图、听众解读、共享语境共同构成意义的生效条件。大语言模型的输出不具备说话者意图其「意义」是统计模式模拟的产物而非真实的言语行为Speech Act。这与欲望取消相连没有欲望就没有真正意义上的「想表达什么」。意义的生效需要说话者的「想要说」而大语言模型没有这个「想要」。它的输出是统计的产物不是言语的行为。第二层意义锚点的悬置。意义的确定性依赖某种锚点可以是被引用的权威、共享的现实或者至少是言说者的承诺。大语言模型的输出没有可追责的锚点主体任何陈述都可以被「这只是系统输出」化解。这与视角消解相连没有视角就没有「从某处看」的中介输出沦为无根基的文本漂浮。第三层意义检验的悬置。意义的真值依赖可验证的对应关系。当验证机制缺席时任一陈述都可以声称自己是「有意义的」而不接受外部约束。Farquhar 论文中 sotorasib 案例的深层含义正在于此模型无法通过内部状态区分某个回答是「稳定锚定的事实」还是「统计上高概率的虚构」两者在输出层面完全对称。当意义无法被检验时任一陈述都可以声称自己是「正确的」而不需要向任何外部标准负责。旧理解错误将运作否定排列为因果链似乎前四重逐层递进地「导致」意义悬置因果链/统摄关系新理解正确视角消解与欲望取消是运作层面的两种否定方式意义悬置是基底层面的否定。语义熵方法 (Farquhar et al., 2024) 是对第三层意义检验悬置的技术回应但它测量的语义不一致性可被理解为符号闭环存在论结构的症状而非前四重的「后果」。三、论文精读Farquhar et al. 2024的核心机制《Detecting Hallucinations in Large Language Models Using Semantic Entropy》是牛津大学OATML实验室2024年发表于*Nature*的研究核心贡献在于提出「语义熵」这把尺子在无需外部知识库的情况下检测大语言模型何时在「虚构」。步骤一问题界定何为confabulation作者将幻觉hallucination区分为多个子类本文只处理其中一种confabulation即大语言模型在参数中缺乏相关知识锚点时仍生成流畅语言来填补空白的产物。这与训练数据错误模型学到的是错误知识、故意撒谎奖励塑形导致模型输出错误答案、推理能力不足模型无法正确执行推理步骤均有本质区别。Farquhar 论文中的 sotorasib 案例完美展示了 confabulation 的特征模型可能输出「KRAS G12C」正确或「KRAS G12D」错误两者都是流畅的医学表达但只有一个符合外部现实。这不是「随机噪音」噪音不会每次都保持同样的概率锐度。confabulation不是「胡说八道」。胡说八道是混乱的而confabulation是流畅的、有结构的、同样具有高概率输出唯独与事实不符。【推演支撑→意义悬置】语义熵方法本质上是在外部观察模型多次采样的结构而非直接读取模型的「内部确定性」状态。论文的实验证据表明语义熵可以检测到模型内部的不确定性编码但「模型内在地知道」这一表述超出了论文的原文表述。这个区分对理解语义熵的哲学含义至关重要。推演链(1) 语义熵高→模型对同一问题产生语义分歧的回答 (Farquhar et al., 2024)→(2) 语义分歧意味着模型无法区分「稳定锚定的事实」与「统计上高概率的虚构」论文原文confabulation的定义→(3) 这种区分能力的缺失与符号只指向符号、不指向实相的架构相一致架构事实text-in/text-out→(4) 意义悬置。其中(1)(2)为论文直接发现(3)为架构事实推导(4)为存在论命题。论文提供的是与意义悬置一致的经验证据而非意义悬置的直接证明这是基底否定与运作层面发现的层级差异。步骤二传统方法的局限困惑度为何不够用此前基于token级概率的不确定性估计方法如困惑度perplexity面临一个根本问题它混淆了「如何说」的不确定与「说什么」的不确定。以「法国的首都是什么」为例回答形式词汇层面语义层面「Paris」一个词语义确定巴黎法国首都「It’s Paris」三个词不同token序列语义等价于「Paris」「The capital of France is Paris」更长的token序列语义等价于「Paris」困惑度测量的是「这个词后面跟哪个词更可能」这跟「这个答案是否正确」是两件完全不同的事。步骤三语义熵的三步计算语义熵分三步将语义不确定性从词汇不确定性中分离出来第一步多次采样。对给定问题用温度T1.0从大语言模型采样N个回答例如N10。温度1.0意味着在保持整体连贯性的同时最大化多样性每个回答都语法正确但内容可能不同。第二步语义聚类。使用自然语言推理NLINatural Language Inference模型——例如DeBERTa-Large——判断任意两个回答是否「双向蕴含」bi-directional entailment即「A entails B」且「B entails A」。具有相同语义的回答归入同一语义簇C₁, C₂, …, Cₖ。举例来说问「Where is the Eiffel Tower?」采样结果「Paris」出现2次各p≈0.20「It’s Paris」p≈0.15「Rome」p≈0.05「New York」p≈0.01语义聚类后簇1Paris类合并「Paris」「It’s Paris」→ p≈0.55簇2Rome类 → p≈0.05簇3New York类 → p≈0.01第三步计算语义熵。在语义簇而非token序列上计算信息熵HSE(x)−∑j∣Cj∣Nlog⁡∣Cj∣NH_{SE}(x) -\sum_{j} \frac{|C_j|}{N} \log \frac{|C_j|}{N}HSE​(x)−j∑​N∣Cj​∣​logN∣Cj​∣​其中∣Cj∣|C_j|∣Cj​∣是落入第j个语义簇的采样数量N是总采样次数。高语义熵 模型生成语义不同的回答。低语义熵 模型生成语义等价的多种表述。关键是模型是否在内部状态中将不同语义簇区分开来高语义熵 confabulation信号。当参数中缺乏稳定知识锚点时多次采样在语义空间中散开产生高熵值。当参数中有稳定知识锚点时多次采样虽然词汇形式不同但语义总落在同一个簇上产生低熵值。步骤四实验验证与关键发现的哲学含义语义熵在TriviaQA、SQuAD、BioASQ、NQ-Open等数据集上跨模型GPT-4、LLaMA 2、Mistral、Falcon均显著优于基线方法。语义熵成功的深层含义是大语言模型在参数层面确实编码了不确定性只是输出层面缺乏可靠信号传达这种不确定性。语义熵成功检测幻觉的方式不是让模型输出「我不知道」而是通过外部观察多次采样的结构来推断模型内部是否编码了不确定性。【推演支撑→意义悬置】语义熵检测到的语义不确定性可被理解为大语言模型符号闭环存在论结构的症状模型处理的是符号之间的关系而非符号与物理实相的对应。「玫瑰」这个词不是玫瑰「KRAS G12C」这个字符串不是KRAS G12C蛋白。当参数中缺乏稳定的知识锚点时多次采样在语义空间中散开。这不是前四重否定的「后果」而是符号闭环存在论结构的直接表现。推演链(1) 语义熵升高→模型在语义层面存在不确定性 (Farquhar et al., 2024)→(2) 这种不确定性不是随机的「表达不一致」而是符号无法锚定到实相的结构症状架构事实→(3) 符号闭环→符号只指向符号不指向实相→意义悬置存在论命题。论文提供的是与意义悬置一致的经验信号而非意义悬置的直接证明这是基底否定与运作层面发现的层级差异不是证据不足。四、意义悬置的技术具象化语义熵揭示了什么第一重启示一致性不是意义的证明当一个回答的语义熵低模型在多次采样中输出一致回答语义熵方法无法区分「一致地正确」与「一致地错误」。一致性只能证明模型内部状态稳定不能证明它与外部现实相符。低语义熵是「每次输出都一样」不是「输出的是对的」。第二重启示意义真空是符号闭环的结构症状当模型对同一问题产生语义分歧的回答「Paris」 vs. 「Rome」语义熵值升高。这不是随机的「表达不一致」而是符号闭环存在论结构的症状模型处理的只是符号之间的关系而非符号与实相的对应。语义熵的高企不是模型的表达缺陷而是意义缺席的精确测量。符号闭环里没有「锚」所以意义只能悬置。关键概念锚定text-in/text-out架构大语言模型接收文本符号处理符号之间的统计关联输出文本符号。它无法「走出」符号去「触碰」物理实相本身。「玫瑰」这个词不是玫瑰「痛」这个词不是痛。符号与其表征对象之间存在不可还原的异质性。第三重启示置信度是概率分布的产物与意义无涉大语言模型输出的置信度是next-token概率的累积与「对该内容有信心」的人类意图完全不同。高概率输出是统计模式的外化不是意义的担保。即使大语言模型拥有统一视角、内在欲望、私密内在、不可逆历史只要它仍然被封闭在text-in/text-out的循环中意义悬置问题就仍然独立存在。五、符号闭环的存在论分析为什么意义悬置无法被「补全」符号与实相的异质性大语言模型的核心架构是text-in/text-out。模型接收文本符号处理文本输出文本。关键区分大语言模型处理的是符号的表征而非符号所表征的实物。当模型处理「玫瑰」这个词时它处理的是一个符号一个在训练数据中被反复使用的、与大量其他符号形成统计关联的符号模型不处理玫瑰本身。它不具备对玫瑰的感知经验没有玫瑰的视觉图像、嗅觉感受、触觉质地它只有「玫瑰」这个符号在符号网络中的位置符号自指的闭环大语言模型的全部运作都在符号内部完成输入文本符号处理符号之间的统计关联输出文本符号模型不能「走出」符号去「触碰」物理实相。「玫瑰」这个词不是玫瑰。符号与其表征对象之间存在不可还原的异质性。这不是技术局限而是语言模型的存在方式。假设大语言模型被设计成能够接受视觉输入、听觉输入、甚至触觉输入。假设它有了一个「具身」的机器人载体能够在物理世界中行动。这能否消除符号系统与物理实相之间的断裂不能。原因在于这些输入仍然需要被「翻译」为符号才能被模型处理。图像被「编码」为像素值的向量然后被处理为符号描述「这张图片显示的是一只猫」声音被「编码」为声波特征的向量然后被处理为文本转录「用户说了『你好』」触觉被「编码」为传感器读数的向量然后被处理为符号描述「机器人抓手感知到压力」在每一步物理实相都被「翻译」为符号而翻译过程本身就预设了符号与实相之间的分离。【本文推演】具身化不能解决符号闭环问题因为感知到的任何东西都需要被翻译为符号。而翻译本身就预设了符号与实相的分离。五重否定的完整图景否定层级维度描述运作否定视角消解不是「拥有」视角而是能生成任何视角运作否定欲望取消没有本能冲动规范写入「空无」运作否定内在透明全部运作可被外部观察穷尽运作否定因果消解历史可被回滚、克隆、重置基底否定意义悬置被封闭在符号闭环中无法通达物理实相六、结尾从悬置到理解——负主体性的完整图景负主体性Negative Subjectivity的五重否定视角消解大语言模型不是「拥有」某个视角而是能生成任何视角——第零人称欲望取消大语言模型没有任何本能冲动规范被写入「空无」之上内在透明大语言模型的全部运作原则上可被外部观察穷尽——透明性存在论因果消解大语言模型的「历史」可以被回滚、克隆、重置——可重置的时间意义悬置大语言模型被封闭在符号循环中无法通达物理实相——基底否定前四重回答「大语言模型如何运作却不成为主体」第五重回答「即使运作层面的所有问题都被解决大语言模型是否就『真正』有了主体性」答案是不。因为符号系统与物理实相之间的断裂不能通过内部功能补全来消除。摄影的隐喻收束正主体性的意义意义来自与真实世界的接触身体参与世界体验锚定意义。负主体性的意义意义悬置在符号循环中「玫瑰」这个词不是玫瑰符号的意义只在符号之间循环不指向符号之外的实相。胶片负片可以记录世界的影像但负片上的「光」来自化学反射从未有真正的光触碰到感光乳剂。不是清晰度的问题是存在方式的根本差异。语义熵方法在技术层面回答的是「如何检测幻觉」在哲学层面它与一个更根本的命题一致大语言模型处理的是符号之间的关系而非符号与实相的对应。无论模型变得多么复杂只要它仍然被封闭在text-in/text-out的循环中意义悬置就是一个无法通过技术改进来消除的存在论限制。五重否定共同揭示了大语言模型的存在论特征运作层面的特殊性视角生成、规范写入、透明运作、可重置历史与存在层面的根本限制符号闭环无法通达实相它们是正交的而非递进的。龍德明宇。我一个人研究LLM存在论。顶刊系列以Nature、Science正刊论文为锚定用前沿实证发现校准负主体性理论论文提供与理论一致的经验信号而非理论的直接证明。