1. 项目概述从“知道”到“会用”的必经之路如果你已经跟着这个系列走过了前面的十二篇恭喜你你已经不再是那个对AI应用开发感到陌生和畏惧的“门外汉”了。我们聊过了模型选择、API调用、提示词工程也深入探讨了Function Calling和Agent的构建。走到第十三篇是时候停下来回头看看我们走过的路尤其是“上下文”和“RAG”这两座横亘在“玩具Demo”和“可用产品”之间的大山。这不仅仅是一次简单的复习而是一次阶段性的“战地复盘”。我见过太多开发者模型调得飞起Agent设计得天花乱坠但一涉及到处理长文档、构建知识库应用就变得笨重、昂贵且不可靠。问题往往就出在对“上下文”的理解不够透彻对“RAG”的运用流于表面。所以这篇总结的目的很明确帮你把脑子里零散的知识点串联成一张清晰、可操作的“作战地图”。我们会跳出单个工具比如LangChain或LlamaIndex的束缚从更本质的“数据流”和“工程化”视角重新审视上下文管理和RAG系统。你会发现理解了这些无论是应对“AI应用开发面试题”中关于RAG架构的刁钻问题还是在实际项目中设计一个稳定高效的“RAG知识库”你都会更有底气。我们不止步于“是什么”更要深挖“为什么这么设计”以及“实践中到底有哪些坑”。2. 核心概念再透视上下文与RAG的本质在深入细节之前我们必须再次锚定这两个核心概念的“第一性原理”。这能帮助你在纷繁的工具和框架中始终保持清醒的判断。2.1 上下文模型的“工作记忆”与成本中心你可以把大模型的上下文Context想象成它的“短期工作内存”。就像你正在读一本复杂的书你能同时记住并思考的段落是有限的。模型也是如此它的上下文窗口比如4K、8K、128K、1M决定了单次交互中它能“看到”和处理多少文本信息。关键认知转变上下文是稀缺资源更是核心成本。早期我们可能只关注“能不能塞进去”但现在必须关注“如何高效地利用”。这里有几个必须明确的点Token与金钱直接挂钩无论是按Token计费的API如GPT-4还是自行部署的模型处理更长的上下文都意味着更高的计算开销和更慢的响应速度。claude code压缩上下文命令、codex上下文增加到1m、opencode怎么给deepseek v4flash启用1m上下文这些热词背后反映的正是开发者对“扩展”和“优化”上下文的极致追求。但记住更大的窗口不总是更好的选择它可能带来不必要的成本和信息噪声。上下文是“状态”而非“存储”function call的“执行结果”必须放进短期上下文否则本轮对话会当场死机这个热词点出了一个关键陷阱。Function Calling执行后获取的结果如果不显式地作为消息追加到对话历史中模型在生成下一步回答时就会“遗忘”这个结果。这说明上下文是维持对话连贯性的状态载体任何需要被模型在后续推理中使用的信息都必须经过编码放入这个状态中。工程化挑战如何管理多轮对话中不断增长的上下文如何从海量信息中精准提取相关片段填入有限的窗口这就是“上下文工程”要解决的问题。它不仅仅是技术更是一种设计哲学。2.2 RAG赋予模型“长期记忆”与“事实核查”能力如果上下文是短期记忆那么RAG就是为模型连接了一个外部“长期记忆库”或“参考资料库”。它的核心价值在于两点突破模型固有知识的时间与容量限制和提供可追溯、可验证的信息来源。RAG不是简单的“搜索回答”。一个典型的RAG流程检索增强生成包含几个关键阶段这也对应了llm、agent、rag、harness是按什么层级架构构成一个ai的这个热词中的一部分思考知识库构建索引将你的文档PDF、Word、网页等进行切分、向量化存入向量数据库。这里的“切分”pdf rag 切片策略至关重要切得太碎会丢失上下文连贯性切得太大则检索精度下降。检索Recall根据用户问题从向量库中找出最相关的文本片段。这里可能涉及“多路召回”比如同时用关键词搜索和向量相似度搜索以提高召回率。增强Augmentation将检索到的相关片段与用户问题一起构造一个增强后的提示Prompt提交给大模型。生成Generation大模型基于增强后的提示生成最终答案。当前的热点演进基础的RAG正在向更高级的形式发展例如Agentic RAG让Agent自主决定何时、如何进行检索、Graph RAG利用知识图谱来建模文档间关系提升检索的关联性和推理能力。RAG重排序技术也是在检索后对结果进行再次精排以提升输入模型的信息质量。3. 上下文工程化实战从理论到稳定系统理解了本质我们来看如何工程化地处理上下文。这决定了你的应用是否稳定、高效。3.1 上下文管理策略与常见陷阱面对长对话或多轮复杂任务你不能让上下文无限膨胀。以下是几种核心策略滑动窗口只保留最近N轮对话。简单粗暴但可能丢失关键的历史信息。适用于短会话场景。关键信息摘要将过往的长篇对话由模型自动总结成一段精炼的摘要然后用摘要替代原有长历史。这需要一次额外的模型调用但能极大地压缩上下文。claude code上下文分层可能就涉及类似思想对不同“年龄”的信息采用不同的处理粒度。函数调用结果管理这是实战中的高频坑点。务必建立一个机制确保Function Calling的执行结果被系统化地添加到后续对话上下文中。一个简单的模式是# 伪代码示例 function_response call_weather_api(location北京) # 错误做法只把函数返回值给模型不更新历史 # 正确做法将结果构造为一个“助手”消息追加到消息列表 messages.append({ role: assistant, content: f[函数调用结果] 北京天气{function_response} }) # 然后继续对话 next_response model.chat(messages)上下文压缩与清理利用模型自身能力如果支持或外部工具识别并移除上下文中的冗余、无关信息。claude code压缩上下文命令就是模型提供的内置能力。实操心得在涉及复杂状态维护的Agent系统中我强烈建议将“对话历史管理”抽象成一个独立的模块或服务。这个模块负责决定哪些信息需要保留、如何压缩、何时清理。这样你的核心业务逻辑Agent推理就能更清晰也更容易测试和维护。workbuddy上下文已使用这类提示就是工具在帮你做使用统计但更深层的管理策略需要你自己设计。3.2 长上下文模型的使用权衡当trea现在还是200k上下文吗、codex上下文增加到1m成为话题时你是否需要立刻追逐最大上下文窗口的模型不一定。优势能一次性处理超长文档如一本书、一份长报告简化流程避免复杂的切片和检索逻辑。劣势成本激增输入Token费用线性增长生成速度可能变慢。“中间迷失”现象即使模型有1M上下文它对处于输入文本中间部分的信息的注意力也可能弱于开头和结尾部分影响回答质量。工程简易性假象你以为省去了RAG的麻烦但把一本1000页的说明书全部塞给模型并问一个具体问题效果很可能不如先用RAG检索出相关的10页再提问。模型需要从海量Token中“大海捞针”。我的建议是对于问答、咨询类应用优先考虑“RAG 适度大小上下文”的方案。对于需要整体理解、总结、创作的任务如总结一篇长论文、基于一部小说续写超大上下文模型更有优势。永远根据你的核心场景做技术选型。4. RAG系统构建深度拆解超越Hello World构建一个可用的RAG系统远不止调用一个from langchain.vectorstores import Chroma那么简单。我们来拆解每个环节的“魔鬼细节”。4.1 知识切片质量决定天花板文档切分是RAG的基石糟糕的切片会导致后续检索全盘皆输。策略选择固定长度重叠切片最常见的方法按字符或Token数切分相邻片段间保留一部分重叠。优点是简单缺点是可能恰好把一句话、一个关键参数表从中间切断。基于语义/段落切片利用标点、标题或简单的语义分割模型尽量保证每个切片是完整的语义单元如一个段落、一个小节。pdf rag 切片时尤其要注意PDF的格式解析确保切出来的是有意义的文本而不是被页码、页眉页脚干扰的碎片。递归切片先按大章节切再对每个章节进行更细粒度的切分。适合结构清晰的文档。关键参数切片大小通常256-1024个Token是一个常见范围。太小则信息碎片化太大则检索精度下降。需要根据你的文档类型技术手册、法律合同、聊天记录和问题类型具体事实查询 vs. 概括性问答进行测试调整。重叠度通常设置10%-20%。目的是防止关键信息恰好落在两个切片的边界上而被遗漏。注意事项切片后一定要人工抽样检查看看切出来的片段是否自然、完整。这是确保RAG质量的第一步也是最容易偷懒却后果最严重的一步。4.2 向量化与检索效率与精度的平衡切片后的文本需要转化为向量嵌入才能进行相似度搜索。嵌入模型选型不要盲目使用通用的text-embedding-ada-002虽然它很好。对于特定领域如医学、法律、代码使用在该领域语料上微调过的嵌入模型检索效果会有显著提升。fact问答/rag 用 qwen3可能指的是使用Qwen的嵌入模型这说明社区在尝试更多元的模型选择。检索策略相似度搜索向量搜索核心手段直接计算问题向量与切片向量的余弦相似度。关键词搜索全文检索作为补充可以召回那些向量相似度不高但包含关键术语的片段。这就是“多路召回”的思想。重排序初步检索可能返回10个片段使用一个更精细的通常是交叉编码器模型对这10个片段与问题的相关性进行重新打分和排序只取Top3给大模型。RAG重排序是提升最终答案质量的有效手段但会增加延迟和成本。向量数据库选择Pinecone、Weaviate、Qdrant、Chroma轻量等都是不错的选择。考虑因素包括是否支持过滤Metadata Filtering、性能、托管服务还是自部署、成本。linux 安装pgsql 开启rag 默认密码这个热词可能指向使用PGVectorPostgreSQL的向量扩展这是一个非常强大且可控的开源方案适合对数据管控要求高的场景。4.3 提示工程与生成引导模型“好好说话”检索到相关片段后如何组织提示词至关重要。一个基础的增强提示模板可能是你是一个专业的助手请严格根据以下提供的上下文信息来回答问题。如果上下文信息不足以回答问题请直接说“根据提供的信息我无法回答此问题”不要编造信息。 上下文信息 {context_str} 问题{question} 请根据上下文回答进阶技巧指定引用格式要求模型在回答中注明出处例如“根据[文档1]所述...”这增强了可信度和可追溯性。处理“无答案”场景如上例所示明确指令模型在上下文不相关时拒绝回答这是防止“幻觉”的关键。结构化输出如果需要可以要求模型以JSON、列表等特定格式输出方便下游程序处理。实操心得不要把所有的检索结果不分主次地堆砌进上下文。在输入大模型前可以对片段进行轻微的清洗或摘要例如如果两个片段高度重复可以合并或去重。claude code可以自动管理上下文大小吗这类问题其本质也是希望模型能智能地处理输入信息但在通用RAG流程中这个预处理责任最好由你的工程系统来承担。5. 高阶架构与演进方向当你掌握了基础的RAG流水线后可以关注这些更前沿或更工程化的方向这也是面试和构建复杂系统时常被问到的。5.1 Agentic RAG让检索“主动”起来传统的RAG是“被动”的用户提问系统检索然后回答。Agentic RAG将检索能力赋予一个自主Agent。这个Agent可以判断是否需要检索对于简单对话或内部知识可能不需要调用检索。决定检索什么根据对话历史自主生成更优的搜索查询词甚至进行多轮、递进式的检索。综合多源信息检索后可能还需要进行数学计算、调用API最后综合所有信息生成回答。 这其实就是将RAG作为Agent的一个核心“工具”来使用使得整个系统更加智能和灵活。agent四个阶段 提示词工程 上下文工程 驾驭工程 循环工程这个热词描述的框架中“驾驭工程”可能就包含了让Agent熟练运用RAG等工具的能力。5.2 图增强RAG与复杂知识处理对于关系复杂、结构化强的知识如公司组织架构、产品组件依赖、学术概念网络Graph RAG展现出优势。它先利用大模型或规则从文档中提取实体和关系构建一个知识图谱。当用户提问时系统可以在图谱中进行图遍历或图查询找到相关的实体子图。将这些实体和关系信息连同对应的原始文本片段一起作为上下文送给大模型。 这种方式能更好地回答涉及多跳推理、关系查询的问题例如“某产品的技术负责人最近发表了哪些关于安全性的观点”。5.3 RAG的工程化与评估构建RAG系统只是开始让它稳定、可靠、可维护地运行才是更大的挑战。评估体系如何知道你的RAG系统变好了还是变差了需要建立评估指标例如检索相关性检索到的片段与问题是否真正相关可以用人工标注或模型打分答案忠实度生成的答案是否严格基于提供的上下文没有幻觉答案质量答案是否准确、完整、流畅 可以定期用一批测试问题来跑你的系统监控这些指标的变化。rag实战项目必须包含评估环节。监控与运维监控检索耗时、Token消耗、失败率等。建立日志系统记录每一次问答的检索片段、最终答案便于事后分析和排查问题。anythingllm咋完善rag访问这类问题其背后就是运维和体验优化。迭代闭环收集用户反馈如“点赞/点踩”将效果不好的问答案例纳入测试集用于持续优化切片策略、检索模型和提示词。6. 常见“坑点”与排查清单根据我和团队的经验以下是一些高频问题及其解决思路你可以把它当作一个速查表。问题现象可能原因排查与解决思路答案出现明显“幻觉”编造信息1. 检索到的上下文不相关或不足。2. 提示词未强制模型基于上下文回答。3. 上下文信息本身模糊或矛盾。1. 检查检索环节优化切片大小/重叠度尝试不同的嵌入模型引入重排序。2. 强化提示词加入“严格根据上下文”、“无法回答请说明”等指令。3. 人工审查检索到的Top片段确认其质量。答案遗漏关键信息1. 关键信息在切片时被割裂。2. 检索排名不高未进入Top N。3. 向量搜索未能捕捉到语义相似性。1. 调整切片策略尝试基于语义的切片增加重叠度。2. 增加检索返回的片段数量K值。3. 引入关键词搜索作为多路召回补充向量搜索的不足。回答“根据提供的信息我无法回答”过于频繁1. 检索阈值设置过高相关片段被过滤。2. 用户问题超出知识库范围。3. 嵌入模型与领域不匹配。1. 降低相似度得分阈值。2. 这是正常现象但可优化话术引导用户询问知识库内问题。3. 尝试使用领域特定的嵌入模型。系统响应速度慢1. 向量数据库查询慢。2. 检索返回片段过多导致大模型处理上下文慢。3. 网络或API延迟。1. 对向量数据库建立索引考虑分库分表升级硬件/服务。2. 减少返回给大模型的片段数量在重排序后取更少的Top结果。3. 优化网络考虑使用缓存对常见问题缓存答案。多轮对话中模型“忘记”之前检索的信息上下文管理策略不当历史信息被截断或未包含检索结果。确保将关键的检索结果和模型回答都纳入到后续对话的上下文历史中。对于长对话采用“摘要”或“关键信息提取”策略来压缩历史。处理PDF表格、代码、公式时效果差文档解析阶段丢失了结构信息切片后成为无意义的乱码。使用更强大的解析库如unstructured、pdfplumber专门处理表格提取将代码、公式视为特殊区块在切片时尽量保持其完整。最后一点个人体会构建RAG系统是一个典型的“脏活累活”它80%的精力可能花在数据预处理、管道调试和效果评估上只有20%在光鲜的模型调用上。不要期望有一个“一键完美”的框架无论是LangChain RAG还是LlamaIndex它们提供了优秀的组件和模式但最终系统的稳定性和效果极度依赖于你对自身业务数据的理解和持续不断的迭代优化。从RAG教程到RAG项目实战最大的跨越就是建立起这套数据驱动的迭代思维。当你开始认真对待每一份输入的文档仔细检查每一次检索的结果你的RAG系统才算真正走上了正轨。