一.为什么做做一个Agent问答往往会出现1知识过时模型训练数据不是最新2幻觉训练数据中找不到问题具体内容所以大模型开始编3缺乏企业内部知识所以这个时候就需要用到RAG检索增强生成二.原理传统AI 1.0 检索在FAQ直接设定问题答案根据问题检索调用输出传统AI 1.0 生成直接用FAQ去训练模型产生model然后根据model输出RAG生成用户提出问题——知识库丨 丨丨 检索prompt —— 丨丨LLM —— output简而言之就是先将企业的知识文档pdfppttxtjsondocx等格式进行切割然后通过模型向量化存入向量数据库然后将用户用同样的模型转化为向量进入向量数据库中匹配根据相似度匹配相似的知识输出三.应用方法1.文档分割a.句子分割 ——句子段落一个句子一个chunkb.按照字符数切割——设置固定字符不连贯c.设置固定字符结合一定重复的字符d.递归方法——设置固定字符结合一定重复字符加上对应语义e.根据语义分割——语义大概今天就学习了那么多结束后自己用Python跑了下代码试了试各种切割方法针对不同业务场景需要的方法应该也不同可能有些还需要几个方法结合