《AI Agent智能体开发实践》1~6章试读_《ai agent 智能体开发实践》在线阅读-CSDN博客AI Agent智能体开发实践【行情 报价 价格 评测】-京东什么是RAG技术RAG是一种将信息检索与文本生成相结合的AI技术。它通常包括以下两个核心步骤。检索Retrieval根据输入问题或提示从大型知识库或文档集合中检索相关文档片段。生成Generation将检索到的相关内容与原始输入结合生成更准确、信息更丰富的回答。5.1.1 RAG技术概述1. 技术本质传统生成模型仅依赖参数化知识训练数据固化在模型权重中。RAG将非参数化知识实时检索的外部数据与参数化知识大模型生成能力动态融合形成“开卷考试”模式。2. 工作流程分为3步1检索Retrieval用户提问→向量化Embedding模型→从知识库如向量数据库中检索Top-K相关文档片段。示例问“2024年奥运会举办地”检索到包含“巴黎”的文档。2增强Augmentation将检索到的文档与原始问题合并作为上下文输入大模型。3生成Generation大模型基于上下文生成答案并标注引用来源如“根据维基百科2023年更新……”。3. 核心组件1向量数据库如FAISS、Pinecone存储文档的向量化表示支持快速相似性搜索。2嵌入模型如BGE、E5将文本转为向量需与生成模型适配如中文场景用中文 Embedding。3生成模型如GPT-4、Llama3负责整合检索内容与自身知识生成连贯回答。4. 典型应用场景1企业知识库内部文档问答如“公司2025年差旅政策”。2实时信息新闻摘要结合最新网页检索。3长文本处理法律合同分析检索相关条款并生成解释。RAG技术正在成为增强大语言模型事实性和时效性的重要方法在专业领域应用中展现出巨大 潜力。5.1.2 RAG架构组成RAG是一种结合了信息检索与生成式AI的架构旨在让生成模型基于外部知识库的精准信息生成更可靠、更具体的回答。其核心组成包括知识库Knowledge Base、检索模块Retriever和生成模块Generator三者协同工作以提升输出内容的准确性和实用性。1. 知识库知识库是RAG架构的“信息源泉”存储着供检索模块查询的结构化或非结构化数据为生成模块提供事实依据。1数据类型① 非结构化数据文档PDF、Word、网页、对话记录、邮件、论文等。② 结构化数据数据库表、Excel表格、JSON文件等。③ 半结构化数据XML、Markdown、带标签的文本等。2核心作用提供领域内的专业知识、最新信息或特定事实避免生成模型仅依赖训练数据导致的“幻觉”虚构信息。3构建与维护需经过数据清洗去重、纠错、格式统一、定期更新确保信息的准确性和时效性。例如企业知识库可能包含产品手册、客户案例医疗知识库可能包含最新诊疗指南。2. 检索模块检索模块是连接用户查询与知识库的“桥梁”负责从知识库中快速定位与查询相关的信息片段。1核心任务根据用户输入的查询Query从知识库中检索出最相关的文档或段落通常称为“上下文Context”。2常用技术① 向量检索将文本查询和知识库内容转换为高维向量通过Embedding模型如BERT、Sentence-BERT再通过计算向量相似度如余弦相似度找到匹配项适合非结构化数据。② 关键词检索基于关键词匹配如Elasticsearch适合结构化或对精度要求不高的场景。③ 混合检索结合向量检索和关键词检索平衡召回率找到所有相关信息和精确率排除无关信息。3关键指标检索的相关性是否准确匹配查询需求和效率响应速度。例如用户问“2024年诺贝尔物理学奖得主”检索模块需从知识库中找到对应的新闻或官方公告段落。3. 生成模块生成模块是RAG的“输出端”基于检索模块提供的上下文和用户查询生成自然语言回答。1核心任务将检索到的相关信息整合成符合人类语言习惯的回答同时确保内容基于上下文避免编造信息。2依赖模型通常采用大语言模型LLM如GPT系列、LLaMA、Claude等这些模型具备理解上下文和生成连贯文本的能力。3工作逻辑① 接收用户查询和检索到的上下文。② 理解查询意图并结合上下文提取关键信息。③ 按照逻辑顺序组织语言生成回答可要求标注信息来源增强可信度。4示例若检索到“2024年诺贝尔物理学奖授予研究量子纠缠的团队”生成模块会将其转换为流畅的回答“2024年诺贝尔物理学奖被授予在量子纠缠研究领域作出突破性贡献的团队他们的成果推动了量子计算和通信技术的发展。”5.1.3 RAG工作流程RAG是一种结合信息检索与文本生成的技术通过动态引入外部知识增强生成结果的相关性和准确性。其核心流程分为以下三个阶段。1. 查询理解与检索1查询解析对用户输入进行语义分析识别意图、实体和关键信息。2知识检索从数据库、文档集或网络等外部知识源中检索与查询相关的片段如段落、图表描述等通常借助向量相似度如Embedding模型或关键词匹配。2. 上下文增强生成1信息融合将检索到的相关上下文与用户查询相结合作为生成模型的输入如GPT等LLM。2生成优化模型基于检索内容生成回答避免单纯依赖内部知识提升事实性和时效性。3. 反馈与优化机制1结果评估通过用户反馈、自动化指标如引用准确性或人工审核评估生成质量。2迭代改进优化检索策略如调整检索范围、更新知识库或微调生成模型形成闭环。优势解决传统生成模型的幻觉问题支持动态知识更新适用于问答、客服等需高准确性的 场景。