这项由加拿大不列颠哥伦比亚大学University of British Columbia奥卡纳根校区计算机科学系主导的研究以预印本形式于2026年5月7日发布在arXiv平台上编号为arXiv:2606.27378v1归类于计算语言学cs.CL方向。当你在使用ChatGPT或其他大语言模型时有没有想过一个问题这些模型在给出答案之前脑子里到底发生了什么它们是真的在思考还是只是在表演思考的样子这个问题听起来像哲学讨论但实际上有着非常实际的技术意义。近年来AI研究圈里有一股热潮就是想让模型不再用文字一步一步地写出思考过程而是把这个过程藏在一种叫做潜在表示的数学向量里——说白了就是让模型用一种人类看不懂的内部语言来思考然后直接给出答案。这样不仅更快理论上还可能更聪明。然而这个潜在思考到底靠不靠谱一直缺乏一套科学的评估标准。大家评价模型好不好几乎都只看最终答案的准确率——答对了就说明思考过程没问题。但这就像评价一个厨师做菜只尝最终成品从不看他是不是真的在厨房里认真炒菜还是把外卖装进自己的盘子里端出来。不列颠哥伦比亚大学的研究团队决定打开这个厨房看看模型的内部思考过程——也就是潜在思维表示——到底是否货真价实。他们设计了四条标准称为公理并开发了一套可以直接测量这些内部表示质量的工具完全不依赖最终答案的对错。这是一个此前从未有人系统做过的事情。他们对五个主流开源大语言模型进行了全面检测结果令人大跌眼镜。一、为什么答对了不等于真的在想要理解这项研究的意义先得搞清楚一个关键区别表演思考和真正思考。在AI领域有一种技术叫做思维链Chain-of-Thought就是让模型在回答问题之前先一步一步地用文字写出推理过程比如首先这道题要求我计算...其次根据公式...最终得到答案...。这种方式让模型的表现提升了很多但有个明显的缺点太慢太占资源。每生成一个字都要消耗计算资源写一大段推理过程下来成本很高。于是研究者们想到一个办法能不能让模型不用写出这些文字而是把推理过程压缩成一个内部的数学向量直接在脑子里完成这就是潜在思维表示的概念。好几个前沿研究成果比如COCONUT、Soft Thinking等都在朝这个方向努力并且在某些基准测试上报告了不错的准确率。问题在于准确率高并不能证明这个内部表示真的在思考。现有的评估体系存在一个根本性的混淆它把表示的质量和模型的能力搅在了一起。一个模型即便它的内部思考表示一团糟只要它足够聪明可能依然能蒙对答案。反过来说如果一个模型在某道题上答错了你也没办法判断是内部表示出了问题还是后续的解码过程出了问题。这就像一个学生考试不及格你不知道是他没理解题目还是理解了但表达有误。这个混淆导致了一个严重的后果研究者们在优化这些潜在思考方法时根本不知道自己优化的是什么也不知道瓶颈在哪里。二、四条诊断标准给思考质量建立体检指标不列颠哥伦比亚大学的研究团队提出了一套完全独立于最终答案准确率的评估框架核心是四条公理。可以把这套框架理解为一套对大脑的体检报告每条公理对应一个具体的健康指标。第一条叫做因果性。一个有效的内部思考表示必须真的能够替代显式的推理步骤对最终答案的生成产生实质影响。研究团队的测量方法是把模型正在生成的答案分成前半段推理过程和后半段最终结论然后把前半段的文字替换成对应的潜在表示向量看看后半段的概率分布有没有变化。如果替换后模型生成后半段的方式几乎没变说明这个潜在表示确实传递了推理信息如果变化很大说明这个向量根本没有承载推理内容。第二条叫做最小性。一个好的内部表示应该只保留和答案相关的信息过滤掉无关的噪音。这来自一个经典的信息论概念信息瓶颈原理。打个比方如果你问模型13是质数吗但同时给了它一大段关于莎士比亚的文字好的内部表示应该只记录质数判断相关的内容把莎士比亚的部分丢掉。研究团队用一个数学替代指标来估算这个有效压缩度数值越高说明表示越干净。第三条叫做可分性。不同的问题应该在内部表示空间里分开站着相似的问题应该站得近一些。这就像你把一群人按职业分组站队——厨师站一块儿工程师站一块儿——好的内部表示应该能让模型自然地把不同类型的问题区分开。研究团队训练了一个辨别器——一个简单的分类器——来测试这种可分性这个分类器能不能通过看内部表示判断两道题是不是来自同一类任务或者是不是同一道题第四条叫做稳定性。对于同一道题就算答案的表达方式不同比如一个说13是质数另一个说13不能被整除内部表示应该是相似的而如果模型自己对一道题拿不准内部表示应该能反映出这种不确定性。研究团队用一种叫做语义熵的工具来衡量当模型对同一道题生成多个不同答案时这些答案在意义上是否相似内部表示能不能预测这种拿不准的程度这四条标准有一个重要的理论保障研究团队在论文附录中严格证明了这四条是相互独立的——违反其中任何一条并不会自动违反其他三条而且这四条合在一起理论上足以完整描述一个好的内部思考表示所应具备的性质。三、被检测的思考方法们确定了评估标准之后研究团队选取了几类主流的潜在思维方法作为检测对象并在五个开源大语言模型上展开实验。被检测的方法主要分成几大类。第一类是最简单的基准直接取模型在处理完输入之后、开始生成答案之前最后一个位置的隐藏层状态——这个向量编码了模型对输入的全部理解。第二类是软思考Soft Thinking不再生成离散的文字token而是在每一步生成一个所有可能词汇的加权平均向量相当于把所有可能的下一个词混在一起形成一个连续的向量。第三类是带噪声的软思考Soft Thinking with Gumbel Noise在上面的基础上加入随机扰动鼓励模型探索更多可能性。第四类是潜在思考Latent Thinking借鉴COCONUT的思路让模型在潜在空间里迭代更新一个状态向量类似于在脑子里反复推演。被测试的五个模型覆盖了当前主流的几大类型参数规模较小的Llama-3.1 8B参数规模较大的Llama-3.3 70B经过强化学习专门训练推理能力的DeepSeek-R1-Distill-Qwen 32B和Skywork-OR1 32B以及混合专家架构的GPT-OSS 20B。选这五个模型是为了覆盖密集型、稀疏混合专家型、推理蒸馏型、原生强化学习型等不同范式看看结论是否具有普遍性。测试所用的基准是Big Bench Extra HardBBEH一个包含23类推理任务的高难度基准涵盖空间推理、事实问答、逻辑推理、数学计算等多种类型每类任务都有若干具体问题。整个实验共涉及4520道题每道题生成8个候选答案通过束搜索形成一个庞大的评估数据集。四、检测结果潜在思维大面积假装在思考检测结果出来之后研究团队形容其为暴露了大面积的表示性崩溃。具体来看情况是这样的。在因果性维度上所有被测试的潜在思维表示都比随机向量好得多——说明它们至少确实携带了一些和答案相关的信息。但是没有任何一种方法显著超过直接使用输入嵌入Input Embedding这个最基础的基准。换句话说把问题本身的文本直接嵌入向量其对答案生成的预测能力和那些精心设计的思考过程不相上下。模型在经历了所谓的思考之后对答案的预测能力并没有比直接看题好多少。在最小性维度上结果参差不齐。不同模型、不同方法之间有差异但总体来看没有任何一种方法能稳定地超过输入嵌入基准。软思考类方法表现略好但最后一个输入token的隐藏状态反而比基准更差——说明这个向量包含了大量输入相关但和答案无关的冗余信息。最戏剧性的结果出现在可分性维度。研究团队测试了两种情况跨任务分辨能不能区分这是一道数学题和这是一道空间推理题和任务内分辨能不能区分同一类任务里的两道不同题目。跨任务分辨几乎所有方法都接近满分连随机向量加一个简单分类器都能轻松区分不同类型的任务——说明这根本不是个有挑战性的测试。但任务内分辨的结果让人惊掉下巴除了直接用答案文本生成的输出嵌入之外所有方法的得分都在50%左右——和随机猜测没有区别。也就是说面对同一类任务里的两道不同题目模型的内部思考表示无法区分它们。同一类23道数学题模型的内部状态对每道题都长得差不多完全无法告诉你这道题和那道题有什么不同。研究团队在附录中进一步分析了几何结构证明这种失败不是分类器太弱导致的而是内部表示本身在同一任务内的几何结构过于扁平几乎所有题目的表示都挤在一起没有足够的分布维度来区分不同实例。即便换用参数量大十倍的分类器结论也完全一样。在稳定性维度上结果相对好一些。多数模型的潜在表示能以较高的准确率预测这道题模型是否会给出不同的答案——说明内部表示确实在一定程度上编码了模型的不确定性。但有一个值得注意的现象直接使用题目文本的输入嵌入其稳定性得分有时候等于甚至超过那些经历了复杂思考过程的方法。这意味着模型对一道题有没有把握光从题目本身就能基本预测到并不需要内部的思考过程来揭示。五、迭代思考步数越多越糟糕研究团队还考察了一个有趣的问题给模型更多的思考步数会不会让内部表示更好毕竟让模型在潜在空间里多迭代几轮直觉上应该能积累更丰富的信息。结果恰恰相反。对于软思考和潜在思考这两类方法当思考步数从1增加到128时在综合四个维度的评估中表现反而系统性地下滑。在稳定性维度迭代越多得分下降越明显对于潜在思考方法尤其显著。在可分性的几何分析中随着步数增加模型内部表示的任务内参与比确实提升了说明向量展开到了更多维度但与此同时各维度上的有效信号密度却在下降——更多的维度在做噪声铺垫而不是承载有意义的信息。这个发现对于那些追求更多思考步数更好的设计思路来说是个警醒在没有适当约束的情况下让模型在潜在空间里迭代更多轮并不能自动产生更有质量的思维表示反而可能让信息逐渐扩散和稀释。六、这套诊断工具意味着什么这项研究的核心贡献是提供了一把尺子而不是一个答案。研究团队没有说哪种方法最好因为目前没有任何一种方法能同时满足所有四条标准。他们提供的是一个分诊系统当你开发了一种新的潜在思维方法你可以用这套工具来知道自己在哪个方向上进步了在哪个方向上还有缺口。这解决了一个长期困扰研究者的问题。过去改进一种方法后往往只能看到基准测试准确率的变化——但这个变化可能来自推理能力的提升也可能来自解码策略的改变还可能是训练数据碰巧覆盖了测试题。四条公理提供了正交的诊断维度如果准确率提升但因果性没提升说明问题出在解码不在思考表示本身如果可分性很低说明需要在训练目标上施加约束让内部状态能够区分不同的问题实例。研究团队还特别检验了一个关键问题这种任务内可分性的崩溃是不是因为某些任务本身太难导致模型的输出分布就没有区分度如果是这样那问题出在模型能力而不是表示质量。他们把任务内可分性得分和每个任务的基准准确率做了相关性分析发现两者几乎没有关系相关系数约为0.10统计上不显著。难的任务和简单的任务内部表示的可分性同样低。这排除了任务难度的解释进一步说明问题是结构性的存在于所有类型的任务中。七、失败是普遍的不是偶然的或许这项研究最令人警醒的发现是这些失败模式在所有五个模型上都一致出现无论是小模型还是大模型无论是通用指令微调模型还是专门为推理优化的强化学习模型。DeepSeek-R1-Distill-Qwen 32B和Skywork-OR1 32B经过了专门的推理训练按理说应该在内部推理表示上表现更好但在这套框架下它们的表现与普通的Llama模型几乎没有区别。研究团队由此得出结论这种失败不是某个模型或某个训练方法的特有问题而是当前潜在思维技术路线的结构性缺陷。目前的方法在提取和利用内部表示时都没有针对区分同一任务内不同问题实例这一能力进行明确优化导致内部表示无论多么复杂都退化成了知道在做什么类型的任务而不是知道在做这道具体的题目。这就好像一个助理能够区分这是数学作业和这是语文作业但拿到两道数学题时脑子里对两道题的理解长得一模一样——自然就会在具体的计算步骤上出错或混淆。说到底这项研究告诉我们当前那些声称模型在潜在空间中思考的技术很可能是在表演思考而不是真的在进行有实质内容的推理。这套评估框架的价值在于它让这种表演变得可以被量化和检测而不再是玄学。对于普通用户来说这意味着在AI宣称自己想清楚了的时候我们需要更谨慎地对待这种说法而对于研究者来说这四条公理提供了明确的优化靶点指向了让AI真正思考而不是模拟思考的技术路径。有兴趣深入了解完整研究方法和实验数据的读者可以通过arXiv编号2606.27378查阅原论文全文。QAQ1什么是潜在思维表示为什么它比普通的文字推理更受关注A潜在思维表示是让AI模型在内部用数学向量完成推理过程而不是像普通思维链那样一步一步写出文字。之所以受关注是因为这种方式理论上更快、更省资源而且不受人类语言表达限制可能捕捉到更复杂的推理结构。但不列颠哥伦比亚大学的研究发现目前的潜在思维方法在质量上存在严重缺陷无法通过因果性、最小性、可分性、稳定性四项关键指标的检验。Q2为什么光看准确率不够还需要专门评估内部表示的质量A准确率只能告诉你最终答案对不对却无法区分模型真正理解了问题并推理出答案和模型恰好蒙对了答案这两种情况。研究发现模型可以在基准测试上得高分但其内部的思维表示却无法区分同一类任务中的不同题目说明内部思考过程并没有真正携带题目的具体信息。只有独立于准确率的评估工具才能诊断出这种隐藏的失败。Q3增加模型的思考步数为什么反而会让潜在思维质量下降A当模型在潜在空间中迭代更多步时向量确实扩展到了更多维度但这些新增的维度大多承载的是噪声而不是有效信息。结果是向量变得更宽但信号密度更低稳定性和可分性都随之下降。这意味着单纯增加思考步数在没有针对性训练约束的情况下并不能让模型想得更清楚反而可能让内部状态变得更模糊。