这项由埃森哲公司AI架构师主导的研究以预印本形式发布于2026年6月论文编号为arXiv:2606.08327有兴趣深入了解的读者可通过该编号查询完整原文。每一个字都得认真对待这是语文老师的要求。但对于AI来说这种一视同仁的态度其实相当浪费。你有没有想过当AI在处理一段文字时面对的、了、吗这类再普通不过的词和面对他到底在指代谁这种需要联系上下文才能判断的复杂问题付出的计算代价却是完全一样的这就好比一个厨师不管是切一颗葱还是处理一条整鱼都要花同样的时间和力气——显然不合理。这项研究要解决的正是这个大材小用的问题。一、为什么AI处理文字会这么不会省力要理解这个问题先得知道现代AI语言模型的核心机制叫做自注意力机制Self-Attention。你可以把它理解成一种全员开会的工作方式每当AI处理文字中的某一个词它都要把这个词和文章里所有其他的词逐一比对思考我和你有没有关系然后综合所有比对结果来理解这个词的含义。这种全员参与的开会方式非常强大因为它能捕捉到任意两个词之间的关联哪怕它们相隔很远。但问题也在这里——这种开会的成本随着文字数量的增加会急剧膨胀。文字数量翻倍计算量就要翻四倍。更关键的是很多词根本不需要开全员大会。的这个字出现在哪里含义都差不多用不着把全文所有词都拉来比对一遍。这就是研究的出发点能不能让AI学会看词下菜碟对简单的词用简单的处理方式把昂贵的全员开会只留给真正需要它的复杂词二、从明暗对比画法里找到灵感研究团队给这个新方法起了一个很有意思的名字——CHIAR-Former灵感来自西方绘画中一种叫做明暗对比法Chiaroscuro的技术。这种技术在达芬奇、伦勃朗的画作中极为常见画家只在需要表现的重点区域精雕细琢用浓重的阴影和明亮的光线塑造立体感而背景则处理得相对简单。这个比喻非常贴切地描述了研究的核心思路把计算资源集中花在暗处——那些真正复杂、需要精细处理的词上而对明处的简单词则用更经济的方式快速处理。为了实现这个思路研究团队设计了三种不同处理档位。第一档叫做DCT频谱混合是最省力的方式适合处理简单、规律性强的词。第二档叫做RBF核函数混合介于中间适合处理有一定复杂度但仍有局部规律的词。第三档就是完整的自注意力机制也就是前面说的全员开会留给那些真正复杂、需要联系全文才能理解的词。要让这个系统运转起来首先要解决的问题是AI怎么判断一个词应该用哪个档位三、用频率能量分布来给词的复杂度打分研究团队提出了一个叫做频谱熵Spectral Entropy的量化指标专门用来衡量每个词的复杂程度。这个概念初听起来很抽象但用音乐来类比就容易理解了。一段纯净的单音比如笛子吹出的哆它的能量完全集中在一个频率上其他频率基本没有能量。而一段嘈杂的噪音或者复杂的和弦能量则均匀分散在各个频率上。频谱熵就是在衡量这种能量分散程度——越集中熵值越低越分散熵值越高。把这个概念用到文字处理上每个词在AI内部有一个数字向量可以理解为这个词的数字画像。研究团队对这个数字画像做了一种叫做DCT离散余弦变换的数学操作提取出它的频率能量分布。如果一个词的能量高度集中在少数几个频率上说明这个词结构简单、可预测性强熵值低适合用简单的处理方式。如果能量分散在很多频率上说明这个词复杂多变熵值高需要动用全员开会的昂贵方式。研究团队还从数学角度证明了这三种处理档位各有其理论依据。对于低熵的简单词DCT处理能保证重建误差被限制在一个可控范围内对于中等熵的词RBF核函数能通过一种叫做Bochner定理的数学结论近似捕捉词与词之间的局部相似性而对于高熵的复杂词只有完整的注意力机制才能通过动态的跨词投影来最小化误差。四、架构设计四层楼的分工合作CHIAR-Former整体上是一个四层结构的模型每一层负责不同的任务有点像一栋四层楼的工厂每层流水线做不同的加工。第一层是频谱预处理层固定对所有词使用DCT混合处理。这一层不做复杂的判断就是给所有词统一做一遍频率域的底层加工提取出它们的低频结构信息。你可以把它理解成工厂流水线的第一道工序先给所有原材料做一次基础清洗和分类。第二层是初步分拣层会根据每个词的频谱熵决定是继续用DCT处理还是升级用其他方式处理。在原始设计的三档版本里这里是DCT和RBF二选一在后来优化的两档版本里这里变成了DCT和注意力二选一。第三层的逻辑类似但面向更高层次的结构。第四层则固定对所有词使用完整的自注意力机制作为整个流水线的最后精加工环节确保模型的输出表达能力不打折扣。在实际路由时模型计算每个词的频谱熵值与一个叫做τtau的阈值做比较低于阈值的走便宜通道高于阈值的走昂贵通道。这个阈值不是随意设定的而是在训练结束后统计验证集上所有词的熵值分布取33%和67%分位数来校准——就像量体裁衣先量了尺寸再划分档位。有一个细节值得一提这个路由判断是完全独立地针对每个词进行的词与词之间的路由决策互不影响每个词只根据自己的熵值决定走哪条路计算效率很高。五、一个出人意料的发现三档变两档反而更好按照原始设计研究团队准备了三个处理档位——DCT、RBF和注意力。但在实际训练中出现了一个意外模型几乎完全拒绝使用RBF这个中间档位超过98%的词要么走DCT要么走注意力留给RBF的份额不到2%。这种现象在AI领域有一个专门的名词叫路由坍塌Routing Collapse本来设计了多个可选项但模型训练后发现只用其中一部分就够了其余的被自动抛弃。在很多类似的AI系统比如混合专家模型里路由坍塌通常被视为问题意味着系统没有充分利用所有可用资源。但研究团队换了一个角度看待这件事坍塌不是失败而是发现。模型用实际行动告诉我们RBF和DCT其实在功能上高度重叠——DCT的低频分量本来就能捕捉词与词之间的局部相似性而RBF做的也是同样的事情只是换了一套数学工具。两个工具捕捉的是同一种底层结构模型当然会自动选择更熟悉、更高效的那个。顺着这个思路研究团队直接把RBF从架构中移除专门设计了一个只有DCT和注意力两个档位的精简版本并命名为CHIAR DCTAttn。结果出乎意料地好这个精简版不仅不比原来的三档版差反而明显更好——因为它彻底消除了RBF这条冗余路径可能造成的计算浪费。六、实验结果大数据集上的惊艳表现研究团队在四个不同的数据集上测试了CHIAR-Former的表现每个数据集代表一种不同的应用场景。最核心的测试在WikiText-103上进行这是一个包含1.18亿个词的大型维基百科文章数据集是语言模型领域的标准测试场。衡量语言模型好坏的指标叫困惑度PerplexityPPL数值越低说明模型对文字的预测越准确。全注意力的基准模型在验证集上的困惑度是66.62而CHIAR DCTAttn版本做到了36.54——降低了45%。同时注意力计算的运算量减少了62.5%总体计算量减少了40.8%。这个结果非常直观用更少的计算换来了更好的效果。为什么会这样研究团队认为DCT作为早期层的底层加工能够自动提取出自然语言的低频结构特征——比如句子的语法模板、话题的连贯性、短语级别的规律性。这些都是自然语言中大量存在的平滑结构非常适合DCT处理。当注意力机制在后续层接手这些经过预处理的词表示时它面对的是已经被梳理过的、结构更丰富的输入相当于站在更高的起点上继续工作自然能做得更好。在训练过程中所有CHIAR变体都比基准模型收敛得更快在早期训练阶段就能达到更低的损失值。这进一步印证了DCT提供的归纳偏置效果模型不需要从零开始学习语言的低频统计规律DCT已经把这些规律以数学的形式内置进来了释放出了宝贵的学习容量用于更高层次的模式。七、在情感分析任务上几乎打平但少花了很多研究团队还在IMDB电影评论情感分类任务上做了测试。这个数据集包含2.5万条电影评论每条平均230个词任务是判断评论是正面还是负面。基准的全注意力模型准确率是84.96%CHIAR DCTAttn版本是83.72%差距只有1.24个百分点。研究团队特别指出这个差距比正常的随机种子实验误差还要小在统计意义上两个模型可以视为等价的——换句话说CHIAR用62.5%更少的注意力计算量做到了和全注意力几乎完全一样的分类效果。对于一个需要处理长文档的实际应用来说这是一个相当实用的结果如果你要部署一个评论分析系统选择CHIAR意味着计算成本大幅降低而效果几乎没有损失。八、两个失利同样值得关注研究团队没有回避那些不太好看的结果反而认为它们和成功案例同等重要因为它们清晰地标出了CHIAR-Former的适用边界。第一个失利来自WikiText-2这是WikiText-103的一个小子集只有240万个词。在这个小数据集上全注意力基准模型的测试困惑度是75.19而CHIAR DCTAttn是83.81差了将近12%。研究团队把这个结论归结为数据量不足当训练数据太少时模型没有机会见到足够多样的词路由机制无法学到可靠的哪类词该走哪条路的规律。而全注意力机制不需要这种分工学习它对每个词一视同仁在小数据上反而能更快地学到有用的模式。第二个失利来自ListOps任务这是一个合成的符号逻辑任务给AI一串嵌套的最大值、最小值、平均值操作让它算出结果例如从这堆数里取最大值再和另一堆数的最小值比较。全注意力基准模型在这个任务上的准确率高达98.85%而CHIAR DCTAttn只有63.35%差距接近35个百分点。原因也很清楚ListOps是一个需要精确符号计算的任务模型要严格区分MAX、MIN、MEDIAN这些操作符号以及精确的整数边界。DCT的频谱预处理擅长捕捉平滑的统计规律但它会在一定程度上平滑掉这些精确的符号边界——而这恰恰是ListOps最需要保留的信息。全注意力机制没有这种预处理的干扰能直接记住这些精确的操作规则。九、适用边界的地图综合四个数据集的结果研究团队画出了一张CHIAR-Former的适用版图。横轴是数据集规模纵轴是任务类型自然语言还是符号逻辑。在大规模自然语言任务上CHIAR-Former明显占优在小数据集的自然语言任务和符号逻辑任务上全注意力更强。简而言之CHIAR-Former适合那些数据量大、文字风格自然的场景比如大规模文章的语言建模、长文档的情感分析。而对于数据量有限的场景或者需要精确符号推理的任务还是应该用传统的全注意力方式。研究团队还对这套发现提炼出了一个更普遍的方法论原则当你在AI里设计了多个可选的计算路径然后发现训练后模型自发地集中在其中某几条路上不要急着修复这个坍塌。先研究一下坍塌本身可能就是模型在告诉你哪些操作组合才是真正必要的。验证这个直觉的方法是直接把被抛弃的选项移除设计一个专门实现坍塌配置的精简架构看看它是否真的更好——CHIAR-Former的实验正是这么做的结果证明这条路是对的。十、与同类方法的比较和差异这项工作和之前已有的一些提高AI效率的研究有明显的差别研究团队专门对此做了梳理。在和FNet的比较上FNet是一个用傅里叶变换替代所有注意力层的方案它的逻辑是全部改掉。CHIAR-Former的逻辑则是选择性使用只对那些适合频谱处理的词使用DCT其余词仍然走注意力。这种选择性的精细分工带来了比全部替换更好的效果。在和混合专家模型MoE的比较上MoE的路由坍塌是结构上相似的多个专家之间发生的坍塌往往意味着有些专家的参数被浪费了。CHIAR-Former的路由坍塌是在结构和计算性质根本不同的操作之间发生的——DCT是固定的数学变换注意力是动态的数据驱动计算两者本质不同。当这种异质的路由系统发生坍塌信息量更大说明的是在这种任务和模态下某种类型的计算是冗余的而不只是某个参数化实例没被充分利用。在和Mixture-of-Depths按层跳过计算的比较上那类方法选择跳过某些层不做计算CHIAR-Former不跳过任何层而是在同一层内切换更便宜的计算操作。两者是互补的理论上可以结合使用。在和FlashAttention的比较上FlashAttention是在硬件层面优化注意力计算的执行效率不减少参与注意力的词的数量CHIAR-Former则是减少被路由到注意力的词的数量两个维度的优化互不冲突未来可以同时应用。说到底这项研究做的事情可以用一句话总结教会AI省着点用力。它发现了一个简单但有效的原理——语言里的词有复杂度之分不同复杂度的词用不同成本的处理方式既省力又可能更准确。研究中那个三档变两档的意外收获可能是整篇论文里最有启发性的部分。它告诉我们当一个系统自发地简化自己我们应该认真倾听这个信号而不是强行把它修复回复杂的样子。模型的偷懒有时候是在揭示一个更简洁的真相。当然这套方法目前也有明显的局限17.4M参数的小模型在现实的大规模部署场景里算是微型产品在大模型上能不能复现这种效果还需要进一步验证。阈值校准依赖训练后的数据统计换一个语料或者换一种分词方式就需要重新校准。这些都是留给未来的问题。如果你对这个方向感兴趣可以通过编号arXiv:2606.08327查阅完整论文里面有详细的数学推导、实验数据和架构细节可以对照上面介绍的内容做更深入的了解。QAQ1CHIAR-Former的频谱熵路由和普通Transformer的注意力机制有什么根本区别A普通Transformer对每个词都用同样昂贵的全员开会方式处理计算量随词数呈平方增长。CHIAR-Former给每个词算一个复杂度评分频谱熵评分低的词用便宜的DCT数学变换处理评分高的词才动用完整的注意力机制。核心区别在于这是基于信号处理理论的按需分配不是随机跳过有理论依据保证简单词用DCT不会损失太多信息。Q2为什么CHIAR-Former在WikiText-2小数据集上反而更差ACHIAR-Former的路由机制需要从数据中学习哪类词走哪条路这本身需要足够多样的训练样本。WikiText-2只有240万词词的多样性不够路由器学不到可靠的分工规律。全注意力机制没有这种学习负担对每个词一视同仁在小数据上学习效率反而更高。简单说CHIAR需要足够大的数据集才能发挥分工的优势。Q3路由坍塌为什么在CHIAR-Former里是好事但在混合专家模型里是坏事A混合专家模型里各个专家结构相同只是参数不同坍塌意味着部分专家的参数白白占用内存却没被使用是资源浪费。CHIAR-Former里DCT、RBF、注意力三者在数学性质上根本不同坍塌是模型在告诉我们RBF和DCT捕捉的是同一种结构留一个就够了——这是有信息量的发现移除RBF后性能反而提升说明坍塌识别出了真正的冗余。