大模型脑机接口:SAE解剖黑盒之谜

📅 2026/7/15 20:30:43
大模型脑机接口:SAE解剖黑盒之谜
读心与脑机接口:大模型表征工程的科学探索目录读心与脑机接口:大模型表征工程的科学探索1. 为什么“改中间层”如此强大?2. 支撑 RepE 的三大经验支柱3. 从“读心”到“写心”的发展脉络4. 核心争议与研究空白5. 结语:AI 的内窥镜与手术刀如果我们把 Prompt Engineering(提示词工程)比作是通过“语言”来引导大模型,把 Fine-tuning(微调)比作是给大模型“做大脑手术重塑神经”,那么表征工程(Representation Engineering, RepE)就是给大模型植入了“脑机接口”。它不改参数,也不改输入,而是直接在模型推理的中间层(Residual Stream)进行读写。1. 为什么“改中间层”如此强大?Transformer 的核心架构决定了 RepE 的可行性。在输入端和输出端,信息都被离散的“词表”锁死;但在中间的 Residual Stream(残差流)中,信息是连续、稠密、可微的高维向量。更重要的是,Transformer 的每一层 Attention 和 MLP 都是以加法(Additive)的形式将更新写回主干。这意味着,所有的高层语义都可以在残差流上进行线性叠加和投影分解。这块稠密的向量空间,成为了我们对大模型进行“外科手术”的绝佳操作台。2. 支撑 RepE 的三大经验支柱表征工程之所以能从玄学变成科学,依赖于三个被反复验证的底层假设:线性表征假设 (Linear Representation Hypothesis, LRH):大模型中的许多高层概念(如真实性、情感、拒绝、甚至“金门大桥”等实体),在残差流中都近似对应着一个线性的方向