1. 从Hinton挂名论文说起RSI到底在讨论什么Hinton这两年对AI风险的公开表态越来越频繁从离职Google到四处演讲提醒AI可能失控他的每一次发声都会在圈内掀起讨论。这次他挂名参与的一篇关于RSI的论文核心议题其实就一句话当AI能够自动化地改进AI本身会不会触发智能爆炸RSI是Recursive Self-Improvement的缩写中文一般译作递归自我改进。这个概念并不新鲜早在1965年I.J. Good就提出过智能爆炸的假说——一台超智能机器能够设计出更好的机器从而引发一连串的自我迭代最终智能水平远超人类。但过去这更像是哲学思辨直到大模型展现出一定的代码生成、架构搜索、超参调优能力之后RSI才从思想实验变成了工程上需要认真对待的问题。这篇论文讨论的核心不是AI会不会突然觉醒而是一个更具体、更工程化的问题如果让AI参与到AI研发的各个环节中这个闭环能跑多快、能跑多远、在哪些环节会卡住这跟很多人想象的AI自己写代码自己训练自己有本质区别。真实的AI研发流程里从数据清洗、架构设计、训练调参、评测验证到部署上线每个环节都有大量的人类判断和经验直觉AI目前能接管的只是其中一部分。我之所以关注这篇论文是因为它把RSI从一个模糊的会不会问题拆解成了可以量化讨论的在哪些环节、以什么速率、受什么约束的问题。这对做AI工程的人来说比空谈风险有意义得多。下面我会从RSI的技术拆解、当前AI自动化研发的真实能力边界、智能爆炸的触发条件、以及作为从业者应该关注什么这几个角度把这件事讲透。2. RSI的技术拆解AI自动化AI研发的四个层级2.1 从辅助工具到自主闭环的渐进光谱很多人讨论RSI时容易走极端要么觉得AI就是个大号自动补全不可能自我改进要么觉得AGI马上就来了智能爆炸就在明天。实际情况是一条渐进的光谱我把它分成四个层级来看会更清晰。L1AI作为辅助工具。这是当前绝大多数团队的真实状态。Copilot帮你补全代码AI帮你写单元测试大模型帮你做文献综述。人在主导AI在加速。这个层级的效率提升是真实的但AI没有自主性它不会自己决定下一步做什么。L2AI作为流程中的一个自主节点。比如用AI Agent自动跑实验、自动调超参、自动做架构搜索。人设定目标和约束AI在约束内自主探索。这个层级已经有团队在做了典型的就是各种AutoML和神经架构搜索NAS的工作。关键特征是AI能自主决策但决策空间是人划定的。L3AI参与改进AI本身的设计。这就进入RSI的核心地带了。AI不只是调参而是提出新的架构、新的训练方法、新的优化器。目前有一些初步探索比如让大模型生成新的注意力机制变体或者让AI设计更好的数据筛选策略。但这个层级的可靠性还很成问题AI提出的新方法大部分是无效的或者已知的。L4完全自主的研发闭环。AI自己设定研究目标、自己设计实验、自己评估结果、自己决定下一步方向人类只在最外层做安全审查。这是论文讨论的终极场景也是智能爆炸假说的技术前提。目前没有任何团队接近这个层级。理解这个光谱很重要因为智能爆炸是否会发生取决于我们能否从L2爬到L4以及爬升过程中会遇到什么瓶颈。论文的价值就在于分析了这些瓶颈。2.2 为什么AI改AI比AI写业务代码难得多这里有个容易被忽略的关键点让AI写一个CRUD接口和让AI改进一个训练算法难度完全不在一个量级。原因有三。第一反馈信号的质量不同。业务代码对不对跑个测试就知道反馈是即时的、明确的。但AI研发里的很多决策比如这个架构改动是不是更好需要跑完整个训练才能知道一次实验可能几天几周而且结果还有随机性。反馈信号又慢又噪AI很难从中学习。第二搜索空间的性质不同。业务代码的搜索空间虽然大但有大量先验约束语法、框架API、设计模式。AI研发的搜索空间更开放一个新的训练目标函数可以有无穷多种形式大部分是没意义的。没有好的先验搜索效率极低。第三评估标准本身可能是错的。业务代码的测试是人写的标准明确。但AI研发里什么算更好的模型本身就是个难题。benchmark可能被过拟合loss下降不代表能力提升评测集可能泄露。AI如果优化了一个错误的指标反而会越走越偏。这三点决定了RSI在AI研发领域的进展不会像AI写业务代码那样快。论文里应该也讨论了类似的约束这也是为什么Hinton虽然担心但并没有给出明天就爆炸的结论。2.3 当前工程实践中的半自动研发长什么样抛开论文的理论讨论看看现在工业界实际在做什么会更有体感。我接触过的几个团队AI自动化研发的实践大概是这样数据侧用模型做数据质量筛选、去重、难度分级这块自动化程度已经很高了基本可以做到人只看最终分布。训练侧超参搜索、学习率调度、分布式策略选择AutoML工具能覆盖一部分但关键决策还是人拍板。架构侧NAS在小规模上能用但大模型时代大家更倾向于手工设计小范围消融因为搜索成本太高。评测侧自动跑benchmark、自动生成评测用例这块自动化程度在提升但评测什么还是人在定。部署侧推理优化、量化、蒸馏自动化工具比较成熟。你会发现自动化程度高的环节都是目标明确、反馈快的环节自动化程度低的都是目标模糊、反馈慢的环节。这个规律本身就说明了RSI的瓶颈在哪。3. 智能爆炸的触发条件论文没明说但你必须知道的几个前提3.1 自我改进的复利需要多快才能爆炸智能爆炸的数学直觉是这样的如果AI每改进自己一次能力提升一个固定比例而且改进后的AI能更快地改进自己那么能力会指数增长短时间内突破某个临界点。这个逻辑听起来很顺但关键在于改进的速率和加速的幅度。假设当前AI改进自己的周期是T每次改进带来能力提升因子r。如果T是几个月r是1.1那增长其实很慢人类有充足时间观察和干预。只有当T缩短到几天甚至几小时且r显著大于1时才可能出现来不及反应的爆炸。论文里大概率会讨论这个速率问题。我的判断是当前AI研发的物理约束算力、数据、实验周期决定了T不可能无限缩短。训练一个大模型要几周这个时间不会因为AI参与就变成几小时因为物理算力摆在那。所以短期内看不到爆炸式的加速。3.2 算力和数据这两个硬约束绕不过去这是我认为最被低估的一点。RSI的讨论经常聚焦在算法能不能自我改进但即使算法能改进后的算法要验证还是得烧算力和数据。一个AI提出的新架构要证明它更好得训练出来看效果。这个训练过程消耗的算力是实打实的不会因为提出者也是AI就减少。数据同理新方法需要新数据来验证数据不会凭空产生。所以RSI的真实瓶颈可能不在智能而在资源。AI可以无限快地提出想法但验证想法的速度受限于物理资源。这就像一个有无限创意的科学家但实验室只有一台设备他的产出速度还是被设备卡住。论文如果严谨应该会把这个约束纳入模型。这也是为什么我倾向于认为智能爆炸更可能是一个资源受限下的渐进加速而不是一夜之间的相变。3.3 验证瓶颈AI提出的方案谁来判定好坏还有一个更微妙的问题当AI提出的方案越来越复杂、越来越超出人类理解范围时谁来验证它真的有效现在的AI研发人类专家能看懂大部分方案能判断这个改动合不合理。但如果AI开始提出人类看不懂的架构、看不懂的训练目标验证就成了大问题。你不能只看benchmark分数因为benchmark可能被针对性地优化了。这就引出一个悖论AI越强它提出的方案越难被人类验证而验证不了的方案不敢用。这个悖论会显著拖慢RSI的实际落地速度。论文里如果讨论了对齐和可解释性应该会触及这一点。4. 作为AI从业者我从这篇论文里读到的现实信号4.1 别被智能爆炸吓到但也别轻视渐进加速我的态度比较中间短期内几年内看不到智能爆炸但渐进式的加速是真实发生的而且会持续。具体来说AI在研发流程中的参与度会越来越高从辅助工具变成自主节点某些环节数据、评测、调参会高度自动化。这会让AI研发的整体效率提升可能让原本需要一年的进展压缩到几个月。这种加速不戏剧化但累积起来影响很大。对从业者来说这意味着你的核心竞争力会从会做实验转向会定义问题、会设计验证、会把控方向。因为执行层面的活AI会越来越多地接管。4.2 哪些岗位会先被AI自动化研发影响结合前面的层级分析我判断受影响的时间顺序大概是环节当前自动化程度未来3-5年趋势对人的影响数据清洗与筛选高基本全自动岗位需求下降超参调优中高高度自动需求下降转向策略设计评测执行中高度自动需求下降架构设计低部分辅助需求稳定更看重判断力研究目标设定极低仍以人为主需求上升安全与对齐审查低需求上升新岗位机会这个表不是精确预测但方向应该是对的。越靠近定义问题和把控风险的岗位越安全越靠近执行既定流程的岗位越危险。4.3 一个容易被忽略的角度RSI对AI安全研究的反向推动论文讨论RSI表面是在谈风险但我觉得它有个正面作用它逼着AI安全研究从事后补救转向过程嵌入。如果AI真的参与到AI研发中那安全审查就不能只在最后做必须嵌入到每个环节。比如AI提出的新架构在训练前就要评估它有没有潜在风险AI自动跑的实验要有监控机制发现异常。这会催生一批AI研发流程安全的工具和方法论对做安全的人来说是机会。5. 如果要在自己的项目里试水AI自动化研发我会怎么做5.1 从反馈最快的环节切入别一上来就碰架构如果你是个体开发者或者小团队想在自己的项目里试试AI自动化研发我的建议是从反馈最快的环节开始。具体来说先做数据侧和评测侧的自动化。比如用模型自动筛选训练数据、自动生成评测用例、自动跑回归测试。这些环节反馈快、风险低、收益直接。跑通了再往训练侧走最后才考虑架构侧。这个顺序的理由很简单反馈快的环节AI犯错你能及时发现反馈慢的环节AI犯错你可能几周后才知道代价太大。5.2 给AI划好决策边界别让它碰不可逆的操作不管自动化到什么程度有几类操作我建议始终保留人类审批不可逆的资源消耗比如启动大规模训练、删除数据。影响面大的变更比如修改核心训练流程、更换评测标准。安全相关的决策比如放宽某个约束、跳过某个检查。这些操作让AI提议、人来执行既享受了AI的效率又保留了控制权。自动化的边界应该划在可逆、低风险、反馈快这一侧。5.3 建立AI提议-人审核-自动执行的流水线一个比较务实的架构是三层AI提议层AI Agent持续分析当前研发状态提出改进建议改哪个参数、试哪个方向。人审核层关键建议推送给人类人快速判断是否执行。非关键建议可以自动通过。自动执行层通过审核的建议由自动化系统执行结果回流到AI提议层。这个流水线的好处是既利用了AI的持续分析能力又保留了人的判断权。而且随着信任积累可以逐步放宽审核范围让更多建议自动通过。这是一个渐进式的、可控的自动化路径。6. 关于RSI我踩过的认知坑和几点实在建议我自己在这个话题上走过一些弯路分享出来供参考。第一个坑把RSI想得太玄。一开始我也觉得AI自我改进是个很科幻的事后来实际做了一些AI辅助研发的工作才发现大部分所谓的自我改进本质是自动化搜索自动评估没什么神秘的。把它当成一个工程问题反而更容易看清边界。第二个坑低估了验证的成本。我曾经以为AI能提出方案就万事大吉后来发现提出方案的成本远低于验证方案的成本。一个AI可以一秒钟生成一百个架构变体但验证一个变体要跑几天实验。这个不对称是RSI最大的现实约束。第三个坑高估了单点突破的影响。智能爆炸的叙事让人以为某个单点突破就能引爆一切但实际研发是个系统工程任何一个环节的瓶颈都会拖慢整体。数据、算力、验证、安全每个都是约束。几点实在建议关注论文里的约束分析而不是结论。结论可能耸动但约束分析才是对工程有指导意义的部分。在自己的项目里小步试水自动化从反馈快的环节开始积累对AI能力的真实体感比看一百篇讨论都有用。保持对验证瓶颈的敏感。当你发现AI提出的东西你越来越难判断好坏时那就是该停下来想想的时候了。RSI这个话题未来几年会持续热。但作为从业者与其焦虑会不会爆炸不如把精力放在理解AI在研发流程中的真实能力边界上。这个理解无论爆炸来不来都用得上。