【ICML 2026】Sink-MoE 论文解读:注意力 Sink 锻造原生 MoE,Sink 感知训练解决头部坍缩|从注意力机制设计视角
摘要
本文解读 ICML 2026 论文《Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse》(北京大学集成电路学院与人工智能研究院)。该论文提出注意力 Sink 即隐式路由器这一核心洞察:通过融…
2026/8/14 18:35:06