同样的意思,为什么大模型给出不一样的答案?——ACL 2026《Understanding the Prompt Sensitivity》解读

📅 2026/7/1 1:51:31
同样的意思,为什么大模型给出不一样的答案?——ACL 2026《Understanding the Prompt Sensitivity》解读
论文Understanding the Prompt Sensitivity作者Yang LiuChenhui Chu京都大学 Kyoto University发表ACL 2026 主会长文Long Paper第 64 届 ACL 年会San Diego原文链接https://aclanthology.org/2026.acl-long.2053/一个让人头疼的现象你可能也遇到过这样的情况把同一个问题换个说法问大模型得到的答案却天差地别。法国的首都是哪里它答得又快又准可只是改成France 的 capital 是?它就开始犹豫甚至给出错误回答。这就是所谓的提示敏感性Prompt Sensitivity——大模型的输出对输入提示的具体措辞高度依赖。它直接动摇了用户对模型稳定性和可靠性的信任。核心洞见大模型在发散而不是聚拢这篇论文最有意思的发现在这里。传统的小型神经网络有一个良好性质它倾向于把语义相近的输入在内部表示中聚拢cluster到一起于是相似输入自然得到相似输出。但大语言模型恰恰相反——它把这些本应相近的同义输入发散disperse开来推向四面八方。正是这种发散行为把对数概率之差的上界撑得过高使得两个同义提示的输出差异很难收敛到 0。提示敏感性从根源上就是这么来的。三个值得记住的结论除了上面的机制解释论文还给出了几个相当实用的结论。第一理论上界与实测指标高度吻合作者证明他们推导出的上界与已有的提示敏感性度量指标 PromptSensiScore 强相关纯理论推导和实证测量在这里对上了。第二模板比问题本身影响更大通过分析 logit 的方差作者发现提示的模板template对 logit 的影响通常比问题内容本身还要大——很多时候敏感性来自你包裹问题的那层格式而不是问题本身。第三并非所有改写都同样危险论文进一步指出了哪些类型的保义改写更容易引入敏感性风险为设计更鲁棒的提示提供了方向。为什么这篇论文重要过去我们大多停留在知道大模型对提示很敏感这一现象层面缺乏一个统一、可解释的理由。这篇工作的价值在于它用一套清晰的数学框架给出了为什么会这样的一般性解释并把理论上界和现有评测指标连接了起来。对研究者来说它提供了理解和量化提示敏感性的新工具对工程实践者来说模板影响大于问题某些改写更危险这些结论可以直接指导我们写出更稳健的提示。如果你正困扰于换个说法模型就翻车这篇 ACL 2026 论文很值得一读。完整内容和公式推导见原文https://aclanthology.org/2026.acl-long.2053/