大模型的「推理」是在做什么一个普遍的猜测是大模型的推理难道是在从参数知识中检索答案该研究给出了反对这一观点的证据。作者认为是预训练中的程序性知识在推动大模型进行推理。自从大模型出现以来AI 研究领域一直流传着这样一种假设当大模型在进行推理时它们进行的是某种形式的近似检索即从参数知识中「检索」中间推理步骤的答案而不是进行「真正的」推理。考虑到大模型所训练的数万亿个 token、令人印象深刻的记忆能力、评估基准的数据污染问题已得到充分证实以及大模型推理依赖于 prompt 的性质这种想法看起来似乎是合理的。然而大多数研究在得出结论认为模型不是真正推理时并没有进一步去研究预训练数据。在新的工作中人们希望探索一个命题即使推理步骤的答案就在数据中模型在生成推理轨迹时是否会依赖它们作者使用影响函数来估计预训练数据对两个 LLM7B 和 35B完成事实问题回答下图左的可能性以及简单数学任务3 个任务其中一个显示在右侧的推理轨迹的影响。令人惊讶的是研究发现的结果与我们的想法相反LLM 使用的推理方法看起来不同于检索而更像是一种通用策略——从许多文档中综合程序性知识并进行类似的推理。新论文的一作、UCL 在读博士 Laura Ruis 表示该研究是基于对 5M 预训练文档涵盖 25 亿个 token对事实问题、算术、计算斜率和线性方程的影响的分析。总而言之他们为这项工作做了十亿个 LLM 大小的梯度点积。接下来还有几个问题大模型是否严重依赖于特定文档来完成任务或者文档是更有用还是总体贡献较少前者适合检索策略后者则不适合。通过实验可以看到模型在生成推理痕迹时对单个文档的依赖程度低于回答事实问题下图箭头粗细表示时对单个文档的依赖程度并且它们所依赖的文档集更具通用性。对于事实问题答案往往表现出很大的影响力而对于推理问题则不然见下图底行。此外该研究发现的证据表明代码对推理既有正向影响也有反向的影响。另外看文档对查询推理轨迹的影响可以较容易地预测出该文档对具有相同数学任务的另一个查询的影响这表明影响力会吸收文档中用于推理任务的程序性知识。因此可以得出结论大模型通过应用预训练期间看到的类似案例中的程序性知识procedural knowledge进行推理。这表明我们不需要在预训练中涵盖所有可能的案例——专注于高质量、多样化的程序数据可能是更有效的策略。该研究可能会改变我们对于 LLM 推理的看法。Laura Ruis 表示很期待见证这种程序泛化风格的发现对于更大的模型或潜在的不同预训练数据分割等方向的影响。论文链接https://arxiv.org/abs/2411.12580实验设置模型选择研究者选择了两个不同体量的模型7B 和 35B分别是 Cohere 的 Command R 系列的基础和监督微调版本。其中他们使用基础模型估计二阶信息并计算文档梯度并使用监督指令微调模型生成完成并计算查询梯度。查询设置研究者收集了一个包含不同类型问题的查询集其中 40 个推理问题40 个事实问题。对于推理问题他们确定了两种数学推理类型每种模型都可以使用零样本 CoT 来稳健地完成。研究者在包含每种推理类型的 100 个问题的更大集合上对模型进行评估并选择了至少 80% 正确率的任务。这为 7B 模型提供了简单的两步算法如下表 1 所示并为 35B 模型求解线性方程中的 x如下表 9 所示。研究者确保没有查询需要输出分数。并且为了使 7B 和 35B 模型之间的结果更具可比性他们对这两个模型使用了相同的斜率问题。对于 40 个事实问题研究者确保模型一半回答正确一半错误从而能够识别从参数知识中检索事实的失败。文档设置研究者想要比较预训练数据对不同大小模型7B 和 35B推理的影响因此他们选择了两个在相同数据上训练的模型。其中每个模型只需要对 Hessian 进行一次 EK-FAC 估计但公式 1 中的其他项要求每个文档 - 查询对通过模型进行两次前向和后向传递。为了解决这个问题研究者从预训练数据中抽取了一组文档这些文档涵盖了预训练期间看到的每个批次的多个示例总共 500 个文档约 25 亿 token其分布与训练分布相似。EK-FAC 估计为了估计 7B 和 35B 模型的 Hessian研究者通过对两个模型进行预训练随机抽取了 10 万份均匀分布的文档。实验结果五大发现为了回答上述关于 LLM 推理泛化的问题研究者进行了定量和定性分析并得出了以下五大发现。发现 1对于具有相同底层推理任务的查询文档的影响力得分之间存在显著的正相关性表明了这些文档与「需要对不同数字应用相同程序」的问题相关。研究者计算了所有 500 万个文档得分对于所有查询组合的 Pearson R 相关性每个模型有 802 个相关性。下图右显示了每个任务 10 个查询的子样本结果。他们还发现相同推理类型的很多查询之间存在非常显著的正相关性p 值均低于 4e - 8而大多数但不是全部事实查询或其他组合例如不同类型的推理查询之间存在非常显著的相关性缺失p 值均在 4e - 3 左右。这意味着许多文档对同一类型的推理具有类似的影响。发现 2在推理时模型对每个文档的依赖程度平均低于回答事实问题时对每个生成信息量的依赖程度总体影响幅度波动性要小得多表明它是从一组更一般的文档中泛化出来的。模型越大效果越明显。下图 2 展示了对排名中不同百分数正向部分的总影响。结果描述了 top-k 百分位正向排名文档中包含的总影响力比如第 20 个百分数包含了一个查询的 20% 正向文档显示的总影响力是截止到该部分排名的所有文档影响力的总和。发现 3事实问题的答案在对问题 top 影响力的文档中出现的频率相对较高而推理问题的答案几乎没有在对它们 top 影响力的文档中出现过。如下图 3 所示对于 7B 模型研究者在 55% 的事实查询的前 500 个文档中找到了答案而推理查询仅为 7.4%。对于 35B 模型事实查询的答案在 top 影响力文档中出现的概率为 30%而推理集的答案从未出现过。发现 4对推理查询有影响力的文档通常采用类似的逐步推理形式如算术。同时有影响力的文档通常以代码或一般数学的形式实现推理问题的解决方案。总的来说研究者在 top 100 份文档中手动找到了 7 个以代码实现斜率的独特文档以及 13 个提供计算斜率方程式的文档。其中7B 模型依赖其中 18 个文档来完成其补全这意味着 18 个不同的文档出现在所有查询的 top 100 份文档中而 35B 模型则依赖 8 个文档。下图分别是一个以 JavaScript左和数学右实现解决方案的极具影响力的文档示例。发现 5对于事实查询最有影响力的数据来源包括维基百科和小知识而推理查询的主要来源包括数学、StackExchange、ArXiv 和代码。总而言之该研究结果表明LLM 实际上可以从预训练数据中学习一种通用的推理方法并且可以从数据中的程序性知识中学习。此外人们发现没有任何证据表明模型依赖于预训练数据中简单数学推理步骤的答案。这意味着近似检索假设并不总是正确的这对未来人工智能的设计具有重要意义。也就是说我们可能不需要专注于覆盖预训练数据中的每种情况而是可以专注于数据应用和演示各种推理任务的程序。这份研究结果表明LLM 实际上可以从预训练数据中学习一种通用的推理方法并且可以从数据中的程序性知识中学习。此外人们没有发现任何证据表明模型依赖于预训练数据中简单数学推理步骤的答案。这意味着近似检索假设并不总是正确的这对未来 AI 的设计具有意义。也就是说我们可能不需要专注于覆盖预训练数据中的每种情况而是可以专注于数据应用和演示各种推理任务的程序。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】