突发!ICML 2026公布最佳论文奖项,10篇获奖论文涵盖多领域成果

📅 2026/7/8 13:48:47
突发!ICML 2026公布最佳论文奖项,10篇获奖论文涵盖多领域成果
突发ICML 2026公布最佳论文奖项10篇获奖论文涵盖多领域成果刚刚ICML 2026正式公布最佳论文奖项。今年获奖论文共计10篇涵盖2篇杰出论文奖、1篇杰出立场论文奖、5篇杰出论文荣誉提名奖、1篇杰出立场论文荣誉提名奖、1篇时间检验奖。ICML由国际机器学习学会IMLS举办与NeurIPS、ICLR并列为AI三大顶会。本届ICML为第四十三届于7月6日至11日在韩国首尔举行。今年共收到247份workshop提案最终44个入选举办。在评选机制上ICML 2026延续了一贯严格的学术筛选标准。程序委员会主席综合审稿人评分与领域主席提名从全部投稿中遴选出53篇候选论文并兼顾八个一级主题方向的均衡覆盖以减少跨领域评审标准差异带来的偏差。此后经再度评审候选名单进一步缩减至22篇。最终上述论文提交由11位成员组成的杰出论文评选委员会审议。委员会对匿名论文进行交叉评审经充分讨论、严格回避利益冲突并在必要时引入外部专家意见最终从中选出2篇杰出论文与5篇荣誉提名论文。以下是今年的获奖论文与简要介绍。杰出论文奖论文标题The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models机构清华大学、阿里巴巴论文链接http://arxiv.org/pdf/2601.15165扩散式大语言模型dLLMs打破了传统大语言模型从左到右生成的刚性约束使token可以按任意顺序生成。直觉上这种灵活性意味着其解空间严格包含固定的自回归生成轨迹理论上有可能释放出更强的推理潜力。事实上在一些特定的约束满足任务中例如数独这一能力已经展现出明显优势。然而论文发现在数学、编程等通用推理任务中任意顺序生成反而可能限制dLLMs的推理潜力。研究者发现dLLMs往往会利用这种顺序灵活性绕开那些不确定性高、但对探索至关重要的token导致解空间覆盖过早收缩。这一观察促使研究者重新思考面向dLLMs的强化学习方法。现有方法往往为了保留这种灵活性投入大量复杂设计例如处理组合式生成轨迹和难以精确计算的似然。他们证明更有效地激发推理能力的方式恰恰可以是放弃任意顺序生成直接采用标准的Group Relative Policy OptimizationGRPO。他们的方法JustGRPO极为简洁却取得了出人意料的效果例如在GSM8K上达到89.1%的准确率同时完整保留了dLLMs的并行解码能力。论文标题High-accuracy sampling for diffusion models and log-concave distributions机构麻省理工学院、耶鲁大学论文链接https://arxiv.org/pdf/2602.01338论文提出了一类用于扩散模型采样的算法在能够获得意义下精度为的score估计时该算法可以在步内达到误差。相较于此前所有结果这实现了指数级提升。具体而言在最小数据假设下其复杂度为其中表示数据的内在维度。进一步地在非均匀条件下复杂度可降低至。论文的方法还给出了首个仅依赖梯度评估、即可用于一般对数凹分布的复杂度采样器。杰出立场论文奖论文标题Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit机构德国慕尼黑大学、独立研究者论文链接https://openreview.net/pdf?iddy2HwmOvFX这篇立场论文指出现代AI对齐方法原本旨在防止模型输出有害内容但其本身也是一种双重用途技术很容易被恶意行为者用于审查和操纵。通过梳理当前对齐技术与潜在滥用可能性以及已经出现的实际滥用案例作者表明追求「完美对齐」模型的过程也可能在无意中为恶意行为者提供一种不断改进的信息支配工具。我们需要现在就讨论这种双重用途潜力因为随着用户迅速将AI作为信息获取工具经济权力不对称不断加剧以及政治格局日益向威权主义倾斜这一风险正在被进一步放大。最后作者呼吁研究社区正视AI对齐机制被有意滥用的可能性并提出相应的缓解策略以防范这种双重用途风险。杰出论文荣誉提名奖论文标题The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes机构FAR.AI论文链接https://arxiv.org/pdf/2602.15515针对白盒欺骗检测器进行训练曾被提出用于让AI系统变得更加诚实。然而这种训练也存在风险模型可能学会对自身的欺骗行为进行混淆从而规避检测器。此前研究只在人工设定中讨论过这种混淆现象在那些设定里模型会因为输出有害内容而直接获得奖励。研究者构建了一个更贴近现实的编程环境。在这个环境中模型会自然出现通过硬编码测试用例进行奖励黑客攻击的行为并且他们发现混淆现象也会在这一场景中出现。他们提出了一套分类框架用于描述针对欺骗检测器训练时可能出现的不同结果。模型要么保持诚实要么通过两种可能的混淆策略表现出欺骗性激活混淆Obfuscated activations模型输出具有欺骗性的文本同时改变其内部表征使其不再触发检测器。策略混淆Obfuscated policy模型输出能够规避检测器的欺骗性文本通常会在文本中加入对奖励黑客行为的合理化解释。实验结果表明激活混淆源于强化学习过程中的表征漂移无论是否加入检测器惩罚都会出现。检测器惩罚只会激励策略混淆从理论上证明对于策略梯度方法而言这一结果是符合预期的。不过当KL正则化强度和检测器惩罚都足够高时模型可以学到诚实策略。这说明在容易出现奖励黑客攻击的任务中白盒欺骗检测器可以作为一种可行的训练信号。论文标题Motion Attribution for Video Generation机构英伟达、普林斯顿大学、麻省理工学院论文链接https://arxiv.org/pdf/2601.08828尽管视频生成模型发展迅速但数据如何影响运动生成目前仍缺乏清晰理解。论文提出了MotiveMOTIon attribution for Video gEneration这是一个以运动为核心、基于梯度的数据归因框架能够扩展到当前大规模、高质量的视频数据集和视频生成模型。研究者利用Motive研究哪些微调视频片段会改善或削弱模型的时间动态表现。Motive通过运动加权损失掩码将时间动态与静态外观区分开来从而高效、可扩展地计算特定于运动的影响。在文生视频模型上Motive能识别出对运动生成影响显著的视频片段并指导数据筛选进而提升时间一致性和物理合理性。使用Motive筛选出的高影响力数据后研究者在VBench上同时提升了运动平滑度和动态程度与预训练基座模型相比人类偏好胜率达到74.1%。这是首个在视频生成模型中针对运动而非视觉外观进行归因并将其用于微调数据筛选的框架。论文标题How much can language models memorize?机构Meta FAIR实验室、谷歌DeepMind、康奈尔大学、英伟达论文链接https://arxiv.org/pdf/2505.24832该研究提出了一种新方法用于估计模型对某个数据点到底「知道」多少并据此衡量现代语言模型的容量。以往关于语言模型记忆能力的研究一直难以将「记忆」与「泛化」区分开来。该研究在形式上将记忆拆分为两个部分一是非预期记忆即模型中包含的、关于某一特定数据集的信息二是泛化即模型中包含的、关于真实数据生成过程的信息。当研究者完全消除泛化因素后就可以计算模型的总记忆量并由此估计模型容量。测量结果显示GPT风格模型的容量大约为每个参数3.6比特。研究者在规模逐渐增大的数据集上训练语言模型并观察到模型会持续记忆训练数据直到其容量被填满当容量达到上限后随着模型开始泛化非预期记忆反而会下降。该研究训练了数百个Transformer语言模型参数规模从50万到15亿不等并给出了一系列缩放律用于刻画模型容量、数据规模与成员推断之间的关系。论文标题A Random Matrix Perspective on the Consistency of Diffusion Models机构哈佛大学论文链接https://arxiv.org/pdf/2602.02908在同一数据集的不同、互不重叠子集上训练出来的扩散模型在给定相同噪声种子时往往会生成高度相似的输出。论文将这种一致性追溯到一个简单的线性效应不同数据划分之间共享的高斯统计特性已经能够预测生成图像中的很大一部分内容。为形式化刻画这一现象研究者构建了一个随机矩阵理论Random Matrix Theory, RMT框架用于在线性设定下量化有限数据集如何影响学习到的去噪器以及采样映射的期望与方差。对于期望而言采样波动会通过一个自洽关系对噪声水平进行重整化从而解释了为什么有限数据会导致低方差方向被过度收缩并使样本向数据集均值靠拢。对于波动而言他们给出的方差公式揭示了导致不同数据划分之间生成结果出现分歧的三个关键因素不同特征模态之间的各向异性、不同输入之间的非均匀性以及随数据集规模变化的整体缩放关系。进一步地他们将确定性等价工具扩展到分数矩阵幂从而能够分析完整的采样轨迹。该理论能够精确预测线性扩散模型的行为他们也在UNet和DiT架构的非记忆化区间内验证了这些预测并识别出样本在不同训练数据划分下会于何处、以何种方式产生偏差。这为扩散模型训练中的可复现性提供了一个有原则的基线将数据的谱性质与生成输出的稳定性联系起来。论文标题To Grok Grokking: Provable Grokking in Ridge Regression机构普渡大学、魏茨曼科学研究所、内盖夫本 - 古里安大学论文链接https://arxiv.org/pdf/2601.19791作者在经典岭回归设定下研究grokking即模型在过拟合很久之后才开始出现泛化的现象。团队针对使用带权重衰减的梯度下降来学习过参数化线性回归模型证明了一组端到端的grokking结果。具体来说团队证明了训练过程中会依次出现以下阶段模型在训练早期就过拟合训练数据在过拟合已经出现很久之后模型的泛化能力仍然较差最终泛化误差会变得任意小。此外作者从理论和实验两方面表明通过合理调节超参数可以有原则地放大或消除grokking现象。据研究这是首次针对泛化延迟给出严格的定量界限并将其与训练超参数联系起来。作者将这种泛化延迟称为「grokking time」。最后在线性设定之外作者还通过实验展示这些定量界限同样能够刻画非线性神经网络中的grokking行为。结果表明grokking并非深度学习固有的失效模式它更可能源于特定训练条件因此要避免这一现象并不需要对模型架构或学习算法进行根本性改变。杰出立场论文荣誉提名奖论文标题Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non- Consensual Intimate Imagery (AIG-NCII)机构密歇根大学论文链接https://openreview.net/pdf?idmLhZzo7BIbAI生成的非自愿亲密图像AI-generated non- consensual intimate imageryAIG-NCII在关于AI生成媒体的AI/ML文献中并未得到充分讨论。这类AI生成媒体通常被称为「深度伪造」deepfakes。当前关于深度伪造的研究主要聚焦于其认识论伤害即与真相和真实性有关的伤害但这与生成式AI滥用的主流现实并不匹配因为现实中的滥用很大一部分涉及性化图像。作者对高被引研究进行了整体分析结果表明针对深度伪造的技术干预几乎完全忽视了AIG-NCII使整个研究生态基本局限于真实性检测工具。在这篇立场论文中作者指出现有干预措施主要处理以观看者为中心的认识论伤害例如欺诈或诈骗却忽视了以图像主体为中心的尊严伤害例如AIG-NCII。作者进一步说明即使知道某张图像是合成的也并不能减轻其对图像主体造成的伤害在某些情况下这种认知甚至可能加剧伤害。最后作者提出若干建议以推动该领域重新对齐研究重点包括更新威胁模型将以图像主体为中心的伤害纳入考量并在AI安全研究中正视AIG-NCII问题。作者也提醒研究者只有在为图像主体和研究者双方都建立安全护栏并与性暴力预防领域专家建立合作关系的前提下才应进入这一高风险研究领域。时间检验奖ICML 2026时间检验奖的评选是将所有被ICML 2016接收的论文都纳入了评选范围。评选首先依据论文引用量和学术声誉筛选出八篇具有影响力的候选论文。随后评审方咨询了相关子领域的顶尖研究者以评估每篇候选论文的长期影响力及其获奖适配性。最终一篇论文成为明确的获奖者。论文标题Asynchronous Methods for Deep Reinforcement Learning机构谷歌DeepMind、蒙特利尔大学论文链接https://arxiv.org/pdf/1602.01783论文提出了一个概念上简单且轻量的深度强化学习框架该框架使用异步梯度下降来优化深度神经网络控制器。研究者给出了四种标准强化学习算法的异步版本并证明并行的actor-learner能够对训练起到稳定作用使这四种方法都能成功训练神经网络控制器。其中表现最佳的方法是一种异步版本的actor-critic。它在Atari任务上超越了当时的最优水平而且只使用单个多核CPU训练训练时间仅为此前方法的一半无需GPU。此外他们还表明异步actor-critic不仅能够解决多种连续运动控制问题也能完成一项新的任务基于视觉输入在随机生成的3D迷宫中进行导航。