前言当然你可能使用过Kimi Chat、豆包这样的大模型工具它们可能已经在生活中充当了我们的创作助手、咨询专家、甚至情感陪护等但这样的应用还远远不能发挥出大模型的真正价值我们期望大模型在更专业的生产领域发挥作用提升生产力引领真正的科技变革。当前大模型被普遍看好的两个专业应用方向是RAGRetrieval-Augmented Agenerated检索增强生成与AgentAI智能体。本篇小首先尝试用通俗易懂的语言帮助大家认识RAG这一重要应用形式。01、了解大模型的“幻觉”在了解为什么出现RAG之前我们首先需要了解大模型著名的“幻觉”问题。**“幻觉”指的是大模型在试图生成内容或回答问题时输出的结果不完全正确甚至错误即通常所说的“一本正经地胡说八道”。**这种“幻觉”可以体现为对事实的错误陈述与编造、错误的复杂推理或者在复杂语境下处理能力不足等。其主要原因来自于1训练知识存在偏差老师教错了学生自然对不了。在训练大模型时输入的海量知识可能包含错误、过时甚至带有偏见的信息。这些信息在被大模型学习后就可能在未来的输出中被重现。2过度泛化地推理自作聪明以偏概全了。大模型尝试通过大量的语料来学习人类语言的普遍规律与模式这可能导致“过度泛化”的现象即把普通的模式推理用到某些特定场景就会产生不准确的输出。3理解存在局限性死记硬背加上问题太难了。大模型并没有真正“理解”训练知识的深层含义也不具备人类普遍的常识与经验因此可能会在一些需要深入理解与复杂推理的任务中出错。4缺乏特定领域的知识没学过瞎编个答案蒙一下。通用大模型就像一个掌握了大量人类通用知识且具备超强记忆与推理能力的优秀学生但可能不是某个垂直领域的专家比如医学或者法律专家。当面临一些复杂度较高的领域性问题或私有知识相关的问题时比如介绍企业的某个新产品它就可能会编造信息并将其输出。当然除了“幻觉”问题大模型还存在知识落后、输出难以解释、输出不确定等一些问题。这也决定了大模型在大规模商业生产应用中会面临着挑战很多时候我们不仅需要理解力和创造力还需要极高的准确性不仅要会写作文还要会准确解答数学题。02、RAG如何优化“幻觉”问题RAG正是为了尽可能地解决大模型在实际应用中面临的一些问题特别是“幻觉”问题而诞生的也是最重要的一种优化方案。其基本思想可以简单表述如下将传统的生成式大模型与实时信息检索技术相结合为大模型补充来自外部的相关数据与上下文以帮助大模型生成更丰富、更准确、更可靠的内容。这允许大模型在生成内容时可以依赖实时与个性化的数据和知识而不只是依赖训练知识。简单的说RAG给大模型增加了一个可以快速查找的知识外挂。用一个例子帮助理解RAG的概念如果把大模型比喻成一个经过大量知识与技能训练的优秀学生把大模型响应的过程比喻成考试那么这个优秀学生在考试时仍然可能会遇到没有掌握的知识从而编造答案幻觉。RAG就是在这个学生考试时临时给他的一本参考书。我们可以要求他在考试时尽量参考这本书作答那么在遇到与这本书中的知识相关的问题时他的得分是不是就高多了呢03、模拟简单的RAG场景假如你需要开发一个在线的自助产品咨询工具允许客户使用自然语言进行交互式的产品问答比如“请介绍一下您公司这款产品与××产品的不同之处”。为了让客户有更好的体验你决定使用大模型来构造这样的咨询功能并将其嵌入公司的官方网站。如果你直接使用通用大模型那么结果很可能如图1-10所示。不出意外大模型显然不具备贵公司的最新手机产品知识因此无法回答客户的问题有时候可能会尝试编造答案。现在如果你使用RAG的思想那么可以先从企业私有的知识库中检索出下面一段相关的补充知识。你把检索出的补充知识组装到提示词中将其输入大模型并要求大模型基于提供的知识来回答你的问题。大模型很聪明地“吸收”了补充的外部知识并结合自己已经掌握的知识成功推理并给出了答案是的RAG本质上就是一种借助“外挂”的提示工程但绝不仅限于此。因为在这里简化了很多细节只是为了展示RAG最核心的思想给大模型补充外部知识以提高输出答案的质量。04、RAG与模型微调要想提高大模型在特定行业与场景中输出的适应性与准确性除了使用RAG还可以使用自己的数据对大模型进行微调。简单地说**微调就是对基础模型在少量相对于预训练的数据量来说的、已标注的数据上进行再次训练与强化学习以使得模型更好地适应特定的场景与下游任务。**显然微调是另外一种给大模型“灌输”新知识的方法。两者的主要差异在于RAG无需额外的训练随时可以提供补充的知识调试简单。缺点是受到上下文空间的限制且回答时性能略差毕竟要现学现用微调需要专门的数据准备和训练时间技术要求相对较高效果较难预测不太适合更新频繁的知识。好处是应用层面会更简单以前面的例子来说明微调和RAG的区别如果大模型是一个优秀学生正在参加一门考试但是这门考试中有很多知识是这位学生没有学习过的现在使用RAG和微调两种方法对这位学生提供帮助。* RAG在考试时给他提供某个领域的参考书要求他现学现用自己翻书理解后给出答案。* 模型微调在考试前一天对他进行突击辅导使他掌握了新的领域知识然后让他参加考试。无法确切地说在什么场景中必须使用RAG、在什么场景中必须使用微调。结合当前的一些研究及普遍的测试结果可以认为在以下场景中更适合考虑微调的方案在不考虑成本的前提下1需要注入较大数据量且相对稳定、迭代周期较长的领域知识需要形成一个相对通用的领域大模型用于对外服务或者运营。2执行需要极高准确率的部分关键任务且其他手段无法满足要求此时需要通过高效微调甚至全量微调来提高对这些任务的输出精度比如医疗诊断。3在采用提示工程、RAG等技术后无法达到需要的指令理解准确、输出稳定或其他业务目标。在除此之外的很多场景中可以优先考虑使用RAG来增强大模型生成。当然在实际条件允许的前提下两者的融合应用或许是未来更佳的选择。05初步认识RAG架构最后我们从技术层来看一个最基础、最常见的RAG应用的逻辑架构与流程。注意在这张图中仅展示了一个最小粒度的RAG应用的基础原理。通常情况下可以把一个简单的RAG应用从整体上分为数据索引Indexing与数据查询Query两个大的阶段而在每个阶段都包含不同的处理环节。以上面的举例来解释索引阶段就是编写考试时需要的参考书这本书要容易快速查找特定知识。查询阶段就是考试时使用这本书的过程先查找参考资料然后解答问题。在实际RAG应用中对于不同的应用场景、客观条件、工程要求会有更多的模块、架构与流程的优化设计以应对众多的技术细节与挑战。比如自然语言表达的输入问题可能千变万化你从哪里检索对应的外部知识你需要用怎样的索引来查询外部知识你怎样确保补充的外部知识是回答这个问题最需要的呢就像上面例子中的学生如果考试的知识点是英语语法你却给他一本《微积分》那显然是于事无补的。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】