最近在测试几个主流大语言模型时我做了一个简单实验。输入一些行业相关的问题例如- 某类产品有哪些生产企业- 某个行业有哪些代表性厂家- 某家公司主要经营哪些业务结果发现不同模型返回的企业名单并不完全相同。即使是同一个模型更换提问方式后生成的结果也可能发生变化。很多人第一反应是模型是不是答错了实际上从RAGRetrieval-Augmented Generation检索增强生成的角度来看这种现象并不奇怪。---## 大模型并不是直接知道所有企业对于很多部署了RAG能力的大模型来说回答过程通常包含两个阶段第一步检索Retrieval模型根据问题从已有知识或公开数据中寻找相关内容。第二步生成Generation模型结合检索到的信息组织语言生成最终回答。因此最终结果不仅受到模型能力影响也受到检索结果质量的影响。---## 为什么检索结果会不同影响检索结果的因素有很多例如- 不同模型采用的数据来源不同- 检索策略不同- 相似度计算方式不同- 数据更新时间不同- 上下文长度不同。除此之外还有一个容易被忽略的因素**公开数据本身是否容易被组织和理解。**---## 企业公开信息为什么会影响检索假设一家企业拥有多个公开渠道- 官方网站- 行业平台- 企业百科- 技术博客- 新闻资讯。如果这些渠道对主营业务、产品名称、企业简介的描述差异较大那么检索阶段得到的信息就可能出现分散。例如官网写的是A产品行业平台写的是B系列新闻稿使用了另一种命名方式。对于人来说这些内容可以结合上下文理解。但对于依赖向量检索和语义匹配的系统来说不一致的数据可能降低召回质量。---## RAG不仅关注数量也关注数据质量很多人在建设知识库时更关注文档数量。实际上RAG系统通常还会受到以下因素影响- 文档是否持续更新- 是否存在重复内容- 是否存在大量相互矛盾的信息- 是否能够形成稳定的知识结构。如果知识本身比较混乱即使Embedding模型性能很好也可能影响最终检索效果。---## 一个值得继续研究的话题随着生成式AI不断发展RAG已经成为许多AI应用的重要组成部分。模型能力固然重要但公开数据质量、知识组织方式以及文档一致性同样值得关注。未来如何提升企业公开数据的可检索性、如何优化知识组织结构或许会成为AI应用实践中的一个持续研究方向。以上内容仅结合公开资料及个人实践观察整理欢迎交流不同看法。