文章摘要很多团队把RAG效果差归因于Embedding模型、向量数据库或大模型却忽略了最前面的文档解析与Chunk工程。PDF乱码、表格丢失、标题层级消失、旧版本混入和固定长度粗暴切分会在数据进入向量库前就破坏知识。本文建立一套生产级文档管道文件识别、结构解析、清洗、质量门禁、结构分块、父子Chunk、Metadata、版本管理、增量索引和自动评测并给出Spring AI实现框架。一、企业RAG的效果上限在哪里完整链路原始文件 → 文档解析 → 内容清洗 → 结构恢复 → Chunk → Metadata → Embedding → 向量库 → 检索 → Rerank → 大模型回答如果最前面的解析已经丢失信息正确内容没有进入Chunk后面的Embedding、检索和大模型都无法恢复。所以企业RAG的第一条原则是先保证知识被正确解析和组织再讨论检索算法。二、不要把“文件上传成功”等同于“知识入库成功”一个文件经过多个状态UPLOADED → TYPE_DETECTED → PARSING → PARSED → QUALITY_CHECKED → CHUNKED → EMBEDDED → INDEXED → VERIFIED任何一步失败都不应该直接标记为可用。建议状态UPLOADED PARSING PARSE_PARTIAL OCR_REQUIRED MANUAL_REVIEW CHUNKING INDEXING INDEXED VERIFIED FAILED三、文件类型识别不能只看扩展名用户上传document.pdf实际可能是标准文字PDF扫描PDF加密PDF损坏文件图片改扩展名内嵌附件PDF混合文本与扫描页。需要检测MIME Magic Number 是否加密 页数 文件大小 是否包含文本层 是否包含图片 语言伪模型publicrecordFileInspection(StringdetectedType,longsizeBytes,intpages,booleanencrypted,booleanhasTextLayer,booleanrequiresOcr){}四、解析器应该按文档类型路由Markdown → Markdown Reader HTML → Jsoup Reader DOCX/PPTX → Tika或专用解析器 普通PDF → PDF版面解析 扫描PDF → OCR版面分析 复杂表格PDF → Docling等结构解析器 图片 → OCR或视觉模型统一接口publicinterfaceEnterpriseDocumentParser{booleansupports(FileInspectioninspection);ParsedDocumentparse(StoredFilefile,ParseOptionsoptions);}路由器ComponentpublicclassParserRouter{privatefinalListEnterpriseDocumentParserparsers;publicEnterpriseDocumentParserroute(FileInspectioninspection){returnparsers.stream().filter(parser-parser.supports(inspection)).findFirst().orElseThrow(()-newIllegalArgumentException(没有可用解析器));}}五、ParsedDocument必须是结构化对象不要只返回一大段纯文本推荐publicrecordParsedElement(StringelementId,ElementTypetype,Stringtext,intpage,BoundingBoxboundingBox,ListStringsectionPath,MapString,Objectmetadata){}元素类型TITLE SECTION_HEADER PARAGRAPH LIST TABLE CODE FORMULA IMAGE_CAPTION FOOTNOTE HEADER FOOTER结构信息决定后续如何分块。六、解析阶段需要保留哪些信息至少保留文件名 文档ID 文档版本 页码 章节路径 元素类型 页面坐标 表格ID 图片ID 语言 解析器版本 OCR置信度这些信息用于来源引用页面跳转结构分块表格处理质量检查问题追溯重新解析。七、清洗不是简单去掉空格需要处理页眉页脚跨页重复容易污染检索。页码保留为Metadata不应混入正文。目录目录和正文高度重复可能导致错误召回。水印机密 仅供内部使用 公司名称每页重复会影响Embedding。断行PDF可能把一句话拆成企业级RAG需要 完整的文档治理。需要根据标点、坐标和段落结构合并。连字符英文换行retriev- al应恢复为retrieval八、清洗必须可追溯不要覆盖唯一原始结果。保存raw_parse.json cleaned_parse.json chunk_result.json同时记录parser_version cleaner_version chunk_strategy_version当检索结果错误时可以回到每一步定位。九、质量门禁是生产系统的必要组件publicrecordDocumentQualityReport(doubleemptyPageRatio,doublegarbledRatio,doubleduplicateLineRatio,doubleocrPageRatio,inttableCount,intwarningCount,QualityStatusstatus){}质量规则示例空白页比例 30% → OCR_REQUIRED 乱码率 5% → MANUAL_REVIEW 有效文本字符 100 → REJECTED 表格检测到但无表格内容 → MANUAL_REVIEW阈值应按文档类型配置。十、先按结构分块再按Token限制错误流程全文提取 → 每500 Token切分推荐解析章节结构 → 按标题、段落、条款、表格分组 → 超长结构单元再按Token切分例如第二章 费用标准 2.1 住宿标准 2.2 交通标准Chunk应包含章节路径文档差旅管理制度 章节第二章 费用标准 2.1 住宿标准 正文……十一、Chunk领域模型publicrecordKnowledgeChunk(StringchunkId,StringparentId,StringdocumentId,StringdocumentVersion,Stringcontent,StringcontentType,ListStringsectionPath,intpageStart,intpageEnd,MapString,Objectmetadata){}Chunk ID必须稳定。可以使用document_id document_version element范围 chunk_strategy_version十二、固定长度分块的正确用途固定Token分块仍然有价值但应该作为最后一层保护结构单元超过Embedding上限 → TokenTextSplitter再次拆分而不是用它替代文档结构。Spring AI示意TokenTextSplittersplitterTokenTextSplitter.builder().withChunkSize(600).withMinChunkSizeChars(200).withMinChunkLengthToEmbed(20).withKeepSeparator(true).build();中文项目还应配置中文标点。十三、父子Chunk解决精度与完整性的矛盾子Chunk200—500 Token主题单一负责向量召回。父Chunk完整条款或章节负责提供回答上下文。流程查询 → 搜索子Chunk → 获取parent_id → 加载父Chunk → 去重和压缩 → 交给模型父子Chunk适合合同制度技术文档长条款API说明。十四、表格必须走独立分支TABLE元素 → 恢复行列结构 → 保存Markdown → 保存JSON → 按整表或行分块 → 数字计算进入结构化查询表格Chunk附带table_id title headers unit row_range page_range不要让TokenSplitter从表格中间切断。十五、图片和图表怎么办图片可能包含流程图架构图产品截图数据图表扫描文字。处理策略图片分类 → OCR或视觉模型描述 → 保存图片引用 → 与图注和章节绑定图表数据如果用于精确问答应提取结构化数据不只保存自然语言描述。十六、Metadata决定企业RAG能否治理最小字段document_id document_version chunk_id parent_id tenant_id status effective_date expired_at section_path page_start page_end content_type parser_version chunk_strategy_version用途多租户隔离版本过滤有效期过滤来源引用删除增量更新检索评测。十七、文档版本不能靠文件名判断制度最终版.pdf 制度最终版2.pdf 制度最新正式版.pdf文件名无法表达真实版本关系。应该维护document_id version status effective_date expired_at supersedes_version发布新版本解析新版本 → 入库新Chunk → 验证检索 → 激活新版本 → 旧版本标记EXPIRED不要先删除旧版本。十八、增量索引如何实现计算元素或Chunk哈希StringcontentHashsha256(normalizedContent);对比新增Chunk → 写入 修改Chunk → 更新向量 删除Chunk → 删除或失效 未变化Chunk → 跳过这样可以避免整库重建。十九、解析器升级也可能需要重建索引即使原文件不变以下变化也会改变Chunk解析器版本OCR模型表格模型清洗规则Chunk策略Embedding模型。因此索引版本应包含parser_version cleaner_version chunk_version embedding_version二十、Spring AI ETL架构Spring AI ETL核心DocumentReader → DocumentTransformer → DocumentWriter企业实现ServicepublicclassEnterpriseRagIngestionService{privatefinalParserRouterparserRouter;privatefinalDocumentQualityServicequalityService;privatefinalChunkingServicechunkingService;privatefinalVectorStorevectorStore;publicvoidingest(StoredFilefile){FileInspectioninspectioninspect(file);EnterpriseDocumentParserparserparserRouter.route(inspection);ParsedDocumentparsedparser.parse(file,ParseOptions.defaults());qualityService.validate(parsed);ListKnowledgeChunkchunkschunkingService.chunk(parsed);ListDocumentdocumentschunks.stream().map(this::toSpringDocument).toList();vectorStore.add(documents);}}二十一、批量Embedding需要限流和断点不能一次写入数十万Chunk。建议按Token批次 → 调用Embedding → 写入VectorStore → 保存批次状态 → 失败后重试状态batch_id start_chunk end_chunk status retry_count error_code需要区分临时限流永久格式错误单个Chunk超长数据库写入失败。二十二、入库完成后必须做检索验证每个文档可以生成几个自动验证问题标题是什么 生效日期是什么 某关键条款是什么 表格中的某项数据是多少如果基础问题无法检索到正确Chunk文档不应进入正式可用状态。状态INDEXED → VERIFYING → VERIFIED二十三、Chunk质量如何评测完整性正确答案所需内容是否在同一Chunk或父Chunk中。纯度Chunk是否包含多个无关主题。可检索性用户问题能否召回它。可引用性是否能定位章节和页码。重复率多个Chunk是否高度重复。指标chunk_answer_coverage chunk_topic_purity duplicate_chunk_ratio parent_retrieval_success citation_completeness二十四、建立文档类型策略库strategies:policy:parser:layoutchunker:clauseparent-child:truecontract:parser:layoutchunker:clausepreserve-tables:truemanual:parser:layoutchunker:headingfaq:parser:structuredchunker:qa-pairlog:parser:textchunker:token-window不要让所有文件使用同一套参数。二十五、生产级观测指标parse_success_rate parse_partial_rate ocr_required_rate manual_review_rate average_parse_time average_chunks_per_document duplicate_chunk_ratio embedding_failure_rate index_verification_pass_rate还要关联parser_version chunk_strategy retrieval_success answer_quality才能知道哪个环节真正改善了效果。二十六、常见失败模式只保存纯文本丢失结构和来源。所有PDF都用同一个Reader扫描件和复杂表格效果差。全部固定500 Token条款与表格被切断。没有版本状态旧制度和新制度冲突。解析成功就直接入库乱码内容进入生产知识库。修改分块后不重建测试基线不知道效果变好还是变差。二十七、本篇落地清单□ 文件类型识别 □ 解析器路由 □ 结构化ParsedDocument □ 页眉页脚清理 □ OCR质量检查 □ 表格独立处理 □ 结构优先分块 □ Token上限保护 □ 父子Chunk □ 完整Metadata □ 文档版本管理 □ 增量索引 □ 入库后检索验证 □ 解析和Chunk指标总结企业RAG的文档管道应该是识别 → 解析 → 清洗 → 质量门禁 → 结构分块 → Metadata → 版本治理 → Embedding → 索引验证真正的质量提升往往不来自更大的模型而来自文档没有丢 结构没有乱 表格没有散 版本没有冲突 Chunk保留完整语义下一篇将继续进入企业级RAG混合检索实战BM25、向量召回、Reranker与动态Top K。