文章目录前言1. Transformer的天花板好像真摸到了1.1 大佬唱衰不是随口吐槽2. Transformer的三个老毛病一直没根治2.1 脑子里有货掏出来特别慢2.2 想学新知识成本高得离谱2.3 没见过的题很难举一反三3. 病根出在架构本身的设计上4. Mobius换个思路破局4.1 核心逻辑知识和推理拆开4.2 刚好戳中前面三个痛点4.3 实测数据确实能打5. 想象空间很大但短板也明摆着5.1 很多前沿方向都对口5.2 短板也一点不含糊P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。前言最近AI圈有个吵得很热的话题Transformer是不是快走到头了这话真不是营销号危言耸听是行业里实打实的大佬公开表态了。1. Transformer的天花板好像真摸到了1.1 大佬唱衰不是随口吐槽前OpenAI推理负责人加上前Google Gemini预训练负责人两位都公开说过Transformer已经成了通往AGI的最大瓶颈。说白了就是堆参数堆数据这套玩法再往下走的收益已经低得可怜了。国内不少头部厂商也在改Transformer架构不过很多时候是算力不够逼的——搞点稀疏、线性注意力省成本不全是为了突破架构本身的能力上限。这就像你玩3A大作显卡带不动先调低画质凑帧率不是真的想把游戏本身做得更好。2. Transformer的三个老毛病一直没根治2.1 脑子里有货掏出来特别慢现在大模型做复杂数学题、写难一点的代码都得碎碎念半天才能出正确结果。也就是所谓的长思维链一边输出一边试错纠错绕半天才能摸到正确答案。不是模型不会做是它得慢慢翻脑子里的存货翻好半天才能找准对应的知识。这就像你考试答题明明知识点背过非得先写一堆无关的话铺垫绕半天才想起正解既费时间又费答题卡。更麻烦的是这种效率问题靠优化注意力、优化硬件都很难质变——输出长度摆在那再快也有极限。2.2 想学新知识成本高得离谱想让大模型掌握新领域内容现在最常用的是RAG说白了就是开卷考试。但开卷也有开卷的麻烦甩给你几百页全新的资料不画重点直接找答案换谁都得翻半天。信息密度太低知识越多反而越容易找不着北。要是想让它把知识真正记牢那就得新旧数据混在一起把模型重训甚至续训一遍。这就像你想往衣柜里添几件新衣服结果得把整个衣柜拆了重新组装费时又费钱完全不划算。2.3 没见过的题很难举一反三组合泛化这个难题困扰AI圈不是一天两天了。简单说就是模型分别学过A和B但很难自己把俩东西凑到一起生出新东西C。当年爱因斯坦能搞出广义相对论不光是他懂狭义相对论和黎曼几何更关键是这俩知识点在他脑子里撞上了迸发出了灵感。现在的大模型倒好俩知识点都存着但同一次推理里很难同时被激活根本碰不出火花。就像你微信里躺着两个行业大牛他俩联手能搞个大项目但你从来没想过把他俩拉进同一个群。3. 病根出在架构本身的设计上这三个问题追根溯源都和Transformer分层的记忆与推理机制脱不开关系。简单讲全连接层负责存知识注意力层负责做推理一层一层叠上去各管各的。不同层存的知识不一样推理逻辑也不一样信息只能顺着层级慢慢往下传。这就像传统公司的层级制度部门墙厚跨层沟通难底层信息传到顶层早就变味了不同部门的知识也很难凑到一块。知识读取慢、更新成本高、跨领域难组合本质上都是这套分层机制带来的副作用。4. Mobius换个思路破局4.1 核心逻辑知识和推理拆开上海人工智能实验室的书生团队搞出了个Mobius架构走的就是知识与推理分离的路子。说穿了逻辑很直白把所有层的知识都从各自的层里拎出来放到一个共享的记忆池里。每一层做推理的时候都能直接访问整个记忆池的所有知识不用再顺着层级挨个翻。这就像把公司所有部门的资料都丢进公共共享盘任何人任何时候都能查不用一层层打报告走审批。4.2 刚好戳中前面三个痛点首先是推理效率上去了。不用一层层遍历找知识一次就能拿到更多信息自然不用再靠说废话凑时间。其次是学新知识更省心。所有知识平铺在池子里新知识该放哪一目了然不用牵一发而动全身。最后是组合泛化变强了。所有知识都在一个池子里同时被激活的概率高多了自然更容易碰撞出新东西。4.3 实测数据确实能打目前的实验结果已经很有说服力端到端推理效率比Transformer提升近4倍下游任务准确率还没掉。相当于同样做对一道题别人花十分钟你两分半就搞定效率直接拉满。数据效率也更高只用60%的数据就能达到和Transformer差不多的MMLU分数相当于别人复习一整本教材你看半本就考得不相上下。在知识组合泛化任务上提升更是直接翻了两倍。5. 想象空间很大但短板也明摆着5.1 很多前沿方向都对口比如现在很热的递归自进化不管是迭代数据还是迭代架构都需要灵活高效的记忆机制Mobius的设计刚好对上。再比如AI辅助科学发现科研最需要不同领域知识的碰撞这也刚好踩中了Mobius的优势。甚至未来的世界模型要处理连续的物理世界Mobius的潜在推理机制也能帮上忙。简单说以前的架构更像应试高手这个新架构更有潜力往科研选手的方向走。5.2 短板也一点不含糊当然也不是没有问题。单看单个token的推理速度Mobius现在还比不过Transformer。毕竟知识和推理分离天然就带来存算分离的问题访存和通信都会有开销相当于共享盘虽然方便但网速慢的时候也会卡。想真正发挥出这个架构的全部潜力不光算法要优化配套的存取策略、并行方案甚至专门的硬件设计都得跟上。至于它能不能真的成为下一代主流架构现在下结论还太早。但至少在Transformer逐渐摸到天花板的今天有人走出了一条不一样的路。P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。