前言今天围绕RAG介绍2个工作一个是RAG与知识图谱结合全局视角的知识图谱构建RAG框架Graphusion重点看看其使用RAG做推理补全一个是长文本RAGLongRAG双视角检索增强生成范式可以看看其分阶段的思路和prompt的设计。一、RAG与知识图谱结合全局视角的知识图谱构建RAG框架Graphusion大模型已被用于知识图谱构建KGC。然而大多数现有方法关注的是局部视角从单个句子或文档中抽取知识三元组缺少一个融合过程以全局视角组合知识。《Graphusion: A RAG Framework for Knowledge Graph Construction with a Global Perspective》。https://arxiv.org/abs/2410.17600介绍了一种具有全局视角的知识图谱构建RAG框架包含三个步骤第一步使用主题建模提取种子实体列表以指导最终的KG包含最相关的实体第二步使用LLMs进行候选三元组抽取第三步融合模块提供了所抽取知识的全局视图这里才有RAG的影子包括实体合并、冲突解决和新三元组发现。注意这里的融合RAG的部分其实就是Graphusion通过引入RAG来提升新三元组发现的性能。现在具体来看看细节1、种子实体生成首先利用BERTopic进行主题建模识别每个主题的代表性实体作为种子实体。这些种子实体确保了实体提取的高相关性和精度。这块具体实现参考https://www.semanticscholar.org/paper/BERTopic%3A-Neural-topic-modeling-with-a-class-based-Grootendorst/5493aefc07e331045be76003ea516aef57f76cb9首先对ACL会议论文集的摘要进行预处理去除短于25个词的句子以确保文本质量。其次使用BERTopic模型对预处理后的文本进行主题建模识别出每个主题的核心实体。这些核心实体作为种子实体用于后续的实体提取和三元组提取。最后将BERTopic输出的每个主题的代表性实体被选为种子实体这些种子实体确保了实体提取的高相关性和精度为后续的三元组提取提供了良好的起点。2、候选三元组提取其次使用LLMs从自由文本中提取候选三元组。这个部分设计了一个Chain-of-Thought (CoT) 提示首先让LLMs提取领域内的实体然后确定这些实体之间的可能关系并发现新的三元组。这个可以对比GraphRAG的抽取方式3、知识图谱融合融合模块对多个局部子图进行全局合并和解决冲突形成一个大连接的知识图谱。融合步骤包括实体合并、冲突解决和新三元组推断。首先实体合并。对于从自由文本中提取的多个局部子图Graphusion首先合并语义相似的实体。具体来说如果两个实体在语义上相似或指向同一实体则将它们合并为一个实体保留更有意义或具体的那个。其次冲突解决。在合并过程中可能会遇到实体关系冲突的情况。Graphusion通过查阅背景文本帮助解决这些冲突。这个就是里面的“### Backgrdound”部分的内容。对于每对实体选择最佳的关系确保最终的知识图谱中的关系是准确和一致的。最后融合RAG的新三元组推断除了合并和解决冲突外Graphusion还可以从检索到的内容中推断出新的三元组这些新三元组补充了原始提取的三元组进一步丰富知识图谱的内容。这一步也通过prompt实现外部知识库也可以进一步分为3种形式Doc.提供领域内的相关自由文本Con.提供添加训练集中的一跳相邻实体作为与查询实体相关的附加信息。Wiki.提供合并每个查询实体的维基百科页面的介绍性段落。二、长文本RAGLongRAG双视角检索增强生成范式RAG进展现有RAG方法在长上下文信息收集不完整和关键事实细节识别困难的问题可以引入两个关键组件LLM增强信息提取器和CoT引导过滤器。《LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering》https://arxiv.org/abs/2410.18050 https://github.com/QingFei1/LongRAG可以看看具体思路LLM增强信息提取器通过将短格式块映射回源长上下文段落使用零样本上下文学习ICL从源段落中提取全局信息从而解决了长上下文信息收集不完整的问题。CoT引导过滤器则利用链式思维CoT生成全局线索指导LLMs逐步关注相关知识点帮助识别关键事实细节从而解决了关键事实细节识别困难的问题。LongRAG系统包括以下几个主要组件1、混合检索器Hybrid Retriever负责从长文本语料库中检索与问题最相关的片段。混合检索器使用双编码器结构一个用于粗粒度检索另一个用于细粒度检索以快速从长文本中检索相关信息片段。这个过程涉及到对长文本进行分割并将句子作为最小的分割单位使用滑动窗口策略来保持语义连贯性。这种设计的优势在于粗粒度检索可以快速覆盖大量相关文档而细粒度检索则可以在粗粒度检索的基础上进一步捕捉文档中的深层语义关系。2、LLM增强信息提取器LLM-augmented Information Extractor将检索到的片段映射回源长文本段落并提取全局信息。这个组件将检索到的片段映射回它们在源长文本段落中的位置然后提取全局信息。这样做的目的是恢复长文本的上下文以便更好地理解问题相关的背景和结构信息。3、CoT引导过滤器CoT-guided Filter使用Chain of ThoughtCoT来指导过滤器精确识别包含关键事实细节的片段指导LLMs逐步关注相关知识点。4、LLM增强生成器LLM-augmented Generator结合全局信息和事实细节生成最终答案。总结本文主要围绕RAG介绍了2个工作一个是RAG与知识图谱结合全局视角的知识图谱构建RAG框架Graphusion重点看看其使用RAG做推理补全一个是长文本RAGLongRAG双视角检索增强生成范式可以看看其分阶段的思路。这两个工作都是prompt-based的现在看来看去都是prompt在驱动没啥太大新意。但跟进前沿也不错哦。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】