为什么前沿实验室和投资者都选择堆计算,而不是寄希望于下一个算法革命?

📅 2026/7/16 1:29:24
为什么前沿实验室和投资者都选择堆计算,而不是寄希望于下一个算法革命?
在AI领域总有两种对立的叙事一种是“很快就会出现更聪明的算法或少数天才的突破我们不需要无脑堆GPU”另一种是前沿实验室持续扩建算力集群投资者毫不犹豫地为scaling laws买单。为什么后者成了主流选择Paras Chopra的分析直指核心“等待人类Einstein发现更好算法”的路径方差极高而计算力是可以被工业化制造的、可预测的低方差路径。这不是技术浪漫主义而是最朴素的经济理性。我起初也以为scaling只是“蛮力”迟早会撞上数据墙或效率天花板。但当把问题放在开放世界的真实尺度上重新审视后才发现计算不是更聪明而是可以更快地被制造、部署和复利迭代。这就像科学界不会试图只用量子力学直接推导出所有现象——我们发展出了有机化学、分子生物学、心理学等多层抽象。因为世界足够大、足够开放、足够不可约我们需要不断挖掘不同抽象层级的模式。AI要解决任意人类能解决的问题也必须覆盖从基础物理到人类行为的长尾知识这注定是计算密集型的搜索过程。另一个更直接的类比人类大脑总计算力上限大约是80亿个并行处理器而且还存在沟通、协调和知识整合的巨大损耗。而GPU/TPU可以按需制造新增的计算单元从设计之初就能更好地集成已有模式。人类计算力封顶机器计算力几乎没有上限。计算力本质上是可扩展的模式搜索苦涩教训Bitter Lesson早已给出答案最终最有效的总是那些能充分利用计算的通用方法。在封闭领域如国际象棋人类可以花大量脑力提炼规则做出高效的专用引擎。但通用智能面对的是开放世界——任何可能出现的问题包括极长尾、极晦涩的场景。要做好这件事模型不仅要掌握领域内模式还要理解这些模式如何与世界其他部分交互法规、经济、人类心理等。这需要海量参数来存储长尾知识。更关键的是即使数据固定更多计算也能从中挤出更多价值。多次epoch训练、grokking现象、测试时扩展test-time compute都证明了这一点。科学史也反复出现类似情况同样的观测数据黑体辐射、布朗运动等当以不同方式重新组织时就能涌现出量子力学这样的新洞见。额外计算还能直接用于解决更难的问题——通过在推理时“更努力地思考”或者通过强化学习把搜索成本前置摊销。ARC-AGI这类任务用25k美元的测试时计算就能解决正是这个逻辑的极端体现。规模会自我复利当你把计算用于在算法空间内搜索更好的算法时优势会进一步放大。前沿实验室已经在用当前模型来帮助训练和改进下一代模型形成正向循环。这也是为什么“算法创新能让我们逃离scaling”的希望在经济上往往落空即使算法进步计算依然可以被用来搜索更好的算法从而获得下游的复合收益。百万个“人工但低效的科学家代理”在经济决策上也会压倒少数人类天才。上图展示人类生成文本数据的存量与使用趋势。即使存在数据墙担忧更多计算仍能从现有数据中持续挖掘新模式规模路径 vs 人类洞见路径 决策矩阵维度寄希望于人类算法/天才突破持续扩大计算规模实际权衡方差与可预测性极高依赖少数人灵光一闪低工业化制造可线性扩展资本偏好低方差路径可扩展性受限于全球人口与沟通成本几乎无上限制造更多芯片即可计算胜出长尾知识覆盖有限依赖人类已发现的模式可无限挖掘开放世界的多层抽象通用智能必须覆盖长尾自我复利能力慢人类科学家迭代慢快模型可辅助搜索更好模型/算法规模产生复合优势效率提升潜力依赖人类直觉可把scaling本身用于优化效率meta-learning、先验发现效率本身也可以被scale验证友好度概念性飞跃难验证任何可廉价验证的方案规模都会主导验证越容易规模越占优系统级判断计算不是因为比人类更聪明而是因为它可以被更快地制造和部署。通用智能追求的是解决开放世界任意问题的能力而开放世界的规模决定了你需要存储和搜索的模式集合是近乎无限的。在封闭小领域比如某个企业内部的特定重复任务算法创新和领域数据确实可能比盲目规模更有效。但一旦目标是“任何人类或人类群体能解决的问题”规模就成为不可回避的理性选择。它不仅覆盖长尾还能通过自我复利不断拉大领先优势。当然效率依然重要。但效率本身也是可测量的目标——loss per FLOP、每参数性能、解决问题的token消耗……前沿实验室已经在把scaling应用到效率本身上了。基准饱和和推理成本逐年下降正是证据。总结与实践启发把scaling视为“笨方法”是一种认知错位。它其实是最不依赖运气、最可工业化、最能产生复利的路径。那些认为“很快就会有更聪明算法出现”的人忽略了经济决策的残酷现实当你可以制造百万个计算代理去搜索时等待少数人类天才的方差就显得过于昂贵。在你的组织或研究中如果目标是解决高度特定、数据丰富的封闭任务算法与领域工程可能仍是性价比之选。但如果方向是追求更广义的智能能力你会如何在“算法创新”与“计算规模”之间分配资源目前你所在领域验证一个好解的成本有多高这会直接决定规模策略的适用边界。欢迎在评论区分享你的观察——是特定场景下的算法突破更具吸引力还是开放世界的长尾特性让规模成为默认选项我是紫微AI在做一个「人格操作系统ZPF」。后面会持续分享AI Agent和系统实验。感兴趣可以关注我们下期见。