一、引言在引言中论文除了介绍相关背景知识还重点阐述了图增强生成的必要性与适用性可以看到二者对比之后本文的结构如下这个表格简洁地总结了原文中提到的论文各部分内容及其描述。二、相关概念这一节主要介绍了一些背景知识包括RAG检索增强生成、LLMs on Graphs用于图的大语言模型、以及KBQA知识库问答。大多是一些基础性的知识和介绍主要是希望读者对该综述有一个预备知识。三、预备知识这一节真正涉及到了GraphRAG的背景知识。首先介绍了文本属性图TAGs一种典型形式是知识图谱这是GraphRAG中使用的一种通用的图形数据格式。然后提供了可用于检索和生成阶段的**图神经网络GNN和语言模型LM**的正式定义。四、GraphRAG概述GraphRAG 的过程可以定义为以下公式这里a* 表示给定知识图谱 G和查询 q的最优答案。A是所有可能响应的集合。p(a∣q,G)是联合模型的目标分布用于表示在给定查询 q和知识图谱 G的条件下得到答案 a的概率。然后我们使用全概率公式来分解 p(a∣q,G)即考虑所有可能的子图 G⊆G的情况下将总的概率分布拆解为每个子图上的条件概率之和。因为候选子图的数量会随着图的规模呈指数增长所以对其进行了一个近似我们可以近似认为最终的答案概率取决于最优子图 G*即这里G* 表示从图数据库中检索出的最优子图。具体来说就是用图检索器提取最优子图。G* 随后生成器基于检索到的子图生成答案那么很直观的从公式上看意图就很明显1.首先构造一个G基于图的索引2.其次是选择一个G*图引导的检索3.最后生成一个a*图增强生成五、基于图的索引图数据库的构建和索引是GraphRAG的基础图数据库的质量直接影响GraphRAG的性能。所以这一节论文着重介绍了图数据的选择/构建以及对所采用的各种索引方法进行分类和总结。我们对整个章节的结构和流程图进行一个概览自建图数据首先我们讨论图数据图数据的来源首先是分为公开和自建的公开的数据集其实对企业私有化应用的作用并不显著即使是所谓的“领域知识图谱”也是比较通用的领域知识。对于不涉及图形数据的下游任务一般的方法是从多个来源(例如文档表和其他数据库)构建一个图并利用GraphRAG来增强任务性能。这些自构建图与方法的特定设计紧密相关从而将它们与前面提到的开放域图数据区分开来我们可以看下面几个常见的例子。a.文档级关系建一个异构文档图捕获多个文档间的关系包括共引用共主题共地点等。b.段落级关系根据共享关键词建立段落之间的关系。c.实体级关系利用命名实体识别NER工具从文档中提取实体并利用语言模型进一步提取实体之间的关系检索到的实体和关系形成知识图。当然自建图到底应该如何建立的问题依然是很复杂的问题有些研究者也会别出心裁下游任务的本身的特征来设计数据到图的映射方法。a.在专利数据领域为了解决专利短语相似度推断任务将专利数据库转换为专利短语图。如果专利中出现短语则建立专利节点与短语节点之间的连接而专利节点之间的连接则基于引文关系。b.针对客户服务技术支持场景将历史问题记录建模为KG, KG将问题转换为树表示来维护问题内关系并利用语义相似性和阈值来维护问题间关系。从上面的例子来看图的建立开始可能就需要考虑私有业务到底需要发掘和关联什么样的信息。索引知识库的构建不可能只考虑构建好的构建依然是为了检索服务。而基于图的索引对于提高图数据库查询操作的效率和速度起着至关重要的作用它直接影响到后续的检索方法和粒度。⚠️特别强调一下向量索引特指图嵌入向量。而文本索引中包含了文本向量索引和传统文本检索而图索引特指传统图检索方法。Remark这三种索引方法各有其独特的优点:图形索引方便对结构信息的访问文本索引简化了对文本内容的检索并且也适合与大语言模型对接矢量索引实现了快速有效的搜索。因此在实际应用中结合这些索引方法的混合方法通常比单独依赖一种方法更可取。并且从上述研究来看实际上针对于到底是用什么样的图设置什么样的索引很可能是非常个性化与业务高度关联的只能具体情况具体分析从这个意义上来说一个可以针对于图数据可编程的框架是更加可取的。六、图引导检索在GraphRAG中通过从外部图形数据库提取相关的高质量图形数据检索过程对于确保生成输出的质量和相关性至关重要。然而检索图数据有两个核心技术难点:1. 爆炸性候选子图:随着图大小的增加候选子图的数量呈指数增长需要启发式搜索算法有效地探索和检索相关子图。(注这里考虑一下前面其实提到了文本索引但是思考后认为即使是文本依然需要考虑候选子文本所以这实际上是一个问题)2. 相似度测量不足:准确测量文本查询和图数据之间的相似度需要开发能够理解文本和结构信息的算法。很多科研人员在优化检索过程方面已经付出了相当大的努力。这章的重点是研究GraphRAG中检索过程的各个方面包括检索器的选择、检索范式、检索粒度和有效的增强技术。我们首先从宏观上观察这一工作流在GraphRAG中论文根据其基础模型将检索器分为三种类型:非参数检索器、基于LM的检索器和基于GNN的检索器。需要注意的是这里没有考虑预处理步骤中使用的模型比如说查询的编码和实体链指一些像KAG这些是做了相关处理比如实体链指因为这些模型在不同的方法中有所不同所以本文也没有很好的归纳。检索器首先我们看检索器模块Remark在检索过程中非参数学习检索器表现出比较高的检索效率但由于缺乏对下游任务的训练可能存在检索不准确的问题。相对来说基于LM的检索器和基于GNN的检索器付出了更多计算成本的同时提供了更高的检索精度。考虑到这种互补性许多方法提出了混合检索方法以提高检索效率和准确性。许多方法采用多阶段检索策略在每个阶段使用不同的模型。例如RoG首先利用LLM生成规划路径然后从知识图中提取满足规划路径的路径。GenTKGQA使用LLM从查询中推断出关键关系和约束并根据这些约束提取三元组。同图的构建一样检索这一步虽然没有针对性那么强大多采用语言模型进行辅助检索但是在研究领域其实也是各种“雕花”混合多种方案。而且我们其实下一节也会提到这个过程其实也包含了很多检索范式特别是有多次迭代检索的范式更加倾向于采用混合检索器。检索范式对于检索模块如何组织运行检索功能根据检索的次数和停机方式可以做这样的区分Remark在GraphRAG中检索范例的选择应该基于特定的用例和需求来平衡准确性和时间复杂性往往多次的迭代的自适应的总会增加更多的不确定性以减少算法的可靠程度。检索粒度一个不争的事实是你无论采用什么检索你总得指定检索出来的东西是什么。我们之前在问题数学定义的时候选择的概念是“子图”但问题是实际场景下面是很复杂的检索的东西可能都说不上是一个图而是图的某个属性PS这就是为啥工科没什么人看数学公式…那可能会有以下考虑Remark1.在实际应用中这些检索粒度之间没有明确的界限因为子图可以由多条路径组成而路径可以由多个三元组组成。2.节点、三元组、路径和子图等各种粒度在GraphRAG过程中提供了独特的优势。在选择粒度时根据任务的特定上下文在检索内容和效率之间取得平衡是至关重要的。对于直接的查询或当效率是最重要的时更细的粒度(如实体或三元组)可以优化检索速度和相关性。3.相比之下复杂的场景通常受益于组合多个粒度的混合方法。这种方法确保了对图结构和关系的更全面的理解提高了生成响应的深度和准确性。因此GraphRAG在粒度选择方面的灵活性使其能够有效地适应不同领域的不同信息检索需求。检索增强为了保证高检索质量研究人员提出了增强用户查询和检索知识的技术。这一节将查询增强分为查询扩展和查询分解知识增强分为合并和剪枝。这些策略共同优化了检索过程。尽管类似于查询重写在RAG中经常使用但它们在GraphRAG中应用的频率较低我们不深入研究这些方法。查询增强应用于查询的策略通常涉及预处理技术这些技术可以丰富信息以便更好地检索。这可能包括查询扩展和查询分解。▪查询拓展由于查询通常长度较短信息内容有限查询扩展的目的是通过使用额外的相关术语或概念补充或改进原始查询来改进搜索结果。利用llm生成以KGs为基础的关系路径来增强检索查询。采用SPARQL从Wikidata中获取查询实体的所有别名来增强检索查询从而捕获同一实体的词法变化。提出了一种共识视图知识检索方法来提高检索精度该方法首先发现语义相关的查询然后对原始查询项重新加权以提高检索性能。HyKGE利用一个大型模型来生成问题的假设将假设与查询连接起来作为检索器的输入。查询分解查询分解技术将原始用户查询分解为更小、更具体的子查询。将主要问题分解为子句每个子句代表一个不同的关系并依次检索每个子句的相关三元组。知识增强知识合并合并检索到的信息支持信息的压缩和聚合这有助于通过整合来自多个源的相关细节获得更全面的视图。这种方法不仅增强了信息的完整性和一致性而且减轻了模型中与输入长度约束相关的问题。knowledgegenavigator通过合并节点并通过三重聚合对检索到的子图进行压缩提高推理效率。在检索每个主题实体的top-路径形成单个子图后将不同子图中的相同实体合并形成最终子图。基于关系对检索到的子图进行合并将满足相同关系的头实体和尾实体合并为两个不同的实体集最终形成关系路径知识排序基于子图与查询之间的关系和细粒度概念的相似性对候选子图重新排序。根据预先训练好的语言模型计算出的问题上下文与KG实体节点之间的相关性评分对检索到的子图进行剪枝。Remark这里其实文中没有总结得特别好我觉得核心的问题在于无论是做“加法”、“减法”、“排序”他必须得有一个依据根据实践经验做排序的居多那么这里牵涉到一个问题依据什么排序可以是一个死的标准也可以是一个灵活的大语言模型。方法不同性能差别应该是很大的。七、图增强生成生成阶段是GraphRAG中的另一个关键步骤旨在将检索到的图数据与查询集成在一起以提高响应质量。在这个阶段必须根据下游任务选择合适的生成模型。然后将检索到的图形数据转换为与生成器兼容的格式。生成器将查询和转换后的图形数据作为输入以生成最终响应。除了这些基本过程生成增强技术可以通过加强查询和图数据之间的交互以及丰富内容生成本身来进一步提高输出。生成器Generators的选择通常取决于手头下游任务的类型。对于生成任务仅使用gnn和判别语言模型是不够的。这些任务需要生成文本这就需要部署解码器。GNNs由于GNN对图数据的强大表示能力它们对判别任务特别有效。GNN可以直接对图数据进行编码捕获图结构中固有的复杂关系和节点特征。然后通过多层感知器(MLP)处理该编码以生成预测结果。这些方法主要利用经典的GNN模型(GCN、GAT、GraphSAGE和Graph Transformers)要么保持原始形式要么进行修改以更好地与下游任务保持一致。LMsLMs具有强大的文本理解能力这也使它们能够作为生成器发挥作用。在将lm与图数据集成的上下文中有必要首先将检索到的图数据转换为特定的图格式。这种转换过程确保了LMs能够有效地理解和利用结构化信息。这些格式对于保留图数据的关系和层次结构至关重要从而增强模型解释复杂数据类型的能力。一旦对图数据进行了格式化它就会与查询结合起来并输入到LM中。Hybrid Models考虑到gnn在表示图数据结构方面的优势以及LMs对文本的强大理解许多研究正在探索这两种技术的集成以产生连贯的响应。本文将混合生成方法分为两种不同的类型:级联范式和平行范式。boosting or bagging级联范式中得流程涉及顺序交互其中一个模型的输出充当下一个模型的输入。具体来说GNN首先处理图数据将其结构和关系信息封装成LM可以理解的形式。随后将转换后的数据输入到LM中LM然后生成最终的基于文本的响应。而平行范式是两个模型同时接收初始输入并协同工作以处理同一数据的不同方面。然后通常通过另一个模型或一组规则合并输出以产生统一的响应该响应集成了来自图形结构和文本内容的见解。图格式编码当使用gnn作为生成器时可以直接对图数据进行编码。然而当使用LMs作为生成器时图数据的非欧性质带来了挑战因为它不能直接与文本数据相结合以输入到LMs中。为了解决这个问题使用图形转换器将图形数据转换为与lm兼容的格式。下面这个图就很好地描述了几种情况不做过多赘述•邻接表和边表 · 自然语言 · 类代码形式 · 语法树 · 节点序列生成增强在生成阶段除了将检索到的图数据转换为生成器可接受的格式并与查询一起输入生成最终响应外许多研究者还探索了各种生成增强技术的方法来提高输出响应的质量。这些方法根据其应用阶段可分为三类:前增强、中增强和后增强。前增强生成前增强侧重于在将输入数据或表示输入到生成器之前提高它们的质量。事实上在生成前增强和检索之间并没有明确的界限。主要涉及对检索到的图数据进行语义丰富以实现图数据与文本查询之间更紧密的集成。中增强中期增强涉及在生成过程中应用的技术。这些方法通常根据中间结果或上下文线索调整生成策略。后增强生成后增强发生在初始响应生成之后。生成后增强方法主要涉及对多个生成的响应以获得最终响应。这个很显然就是要搞投票器要么多次生成响应要么多模型生成不同响应。八、训练基于训练的方法涉及使用监督信号训练或微调模型。这些方法通过使它们适应特定的任务目标来增强模型性能从而潜在地提高检索或生成内容的质量和相关性。前面已经分成了检索器和生成器自然对其都需要做相应的训练…当然你也可以选择不训练这可能会让方案达不到最优效果。关于检索器的训练非训练检索器目前使用的无训练检索器主要有两种。第一种类型由非参数检索器组成。这些检索器依赖于预定义的规则或传统的图搜索算法而不是特定的模型。第二种是利用预训练的lm作为检索器。具体来说一组作品利用预训练的嵌入模型对查询进行编码并根据查询与图元素之间的相似性直接执行检索。训练检索器训练检索器通常采用自回归方法将之前的关系路径连接到查询的末尾。然后模型根据这个连接的输入预测下一个关系。原本在大多数数据集中检索内容缺乏真实的基础所以许多方法试图构建基于远程监督的推理路径来指导检索器的训练。但是一些方法认为远程监督信号或隐式中间监督信号可能包含相当大的噪声使训练有效的检索器比较困难所以自监督还是主流。关于生成器的训练非训练生成器非训练生成器主要迎合闭源LLM或避免高培训成本是必不可少的场景。在这些方法中检索到的图数据与查询一起被馈送到LLM中。然后llm根据提示中提供的任务描述生成响应这在很大程度上依赖于它们理解查询和图数据的固有能力。训练生成器训练生成器可以直接接收来自下游任务的监督信号。对于生成式llm可以使用监督微调(SFT)来实现微调其中输入任务描述、查询和图形数据并将输出与下游任务的基本事实进行比较。另一方面对于作为生成器的gnn或判别模型使用针对下游任务的专门损失函数来有效地训练模型。像是KAG这种框架实际上也是推出了自己的训练模型联合训练联合训练检索器和生成器同时利用它们的互补优势提高下游任务的性能。一些方法将检索器和生成器统一到一个模型中通常是llm并同时用检索和生成目标训练它们。那么训练的话要么可以先单独训练后统一训练也可以直接统一训练。KAG其实也认可了这种训练其实是双向增强的思想九、评价下游任务这里给出一个表收集了现有的GraphRAG技术并根据下游任务、基准测试、方法和评估指标对它们进行了分类。此表作为一个全面的概述突出显示了GraphRAG技术在不同领域的各个方面和应用程序。问答知识库问答常识问答信息抽取实体链指关系抽取其他事实核查链接预测对话系统推荐系统十、未来挑战论文针对未来的挑战这块主要指出了几个问题1.数据库是静态的而不动态改变2.单模态的文本无法应对多模态查询3.超大规模知识图谱怎么办4.能不能开发出针对图的基础模型5.超长上下文如何无损压缩6.统一的评估方法缺失7.应用领域并没有很广泛那么以上就是这篇论文的全部内容了这篇论文不仅是对当前研究现状的一个全面回顾也为未来的研究指明了方向。随着技术的不断进步尤其是当大型语言模型能够更好地整合外部知识时我们有理由相信它们将在更多实际场景中发挥重要作用推动人工智能向更加智能化、人性化迈进。希望这篇精读文章能为相关领域的研究者们提供有价值的见解并激发更多关于如何利用大型语言模型与知识图谱解决现实世界问题的新思路。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】