复杂结构化文档RAG训练集清洗策略：避免召回偏移 大家好，今天我们来探讨一个在构建基于复杂结构化文档的RAG（Retrieval-Augmented Generation）系统时经常遇到的问题：复杂结构化文档进入训练集后导致的召回偏移。这个问题直接影响RAG系统的性能，轻则召回结果不相关，重则导致生成内容错误。 RAG系统依赖于一个有效的检索机制，从大量文档中找到与用户查询最相关的片段，并将这些片段作为上下文提供给生成模型。如果训练集中的文档结构复杂，例如包含表格、列表、嵌套段落等，未经处理直接用于索引，就会导致检索系统难以准确理解文档的语义，从而产生召回偏移。 本文将以讲座的形式，深入分析复杂结构化文档导致召回偏移的原因，并提出一系列工程化的清洗策略，帮助大家构建更可靠的RAG系统。 一、召回偏移的原因分析 在深入清洗策略之前，我们需要理解为什么复杂结构化文档会导致召回偏移。主要原因有以下几个方面： 语义理解困难： 传统的文本检索方法（如基于关键词匹配的BM25、基于向量相似度的 embeddings 等）在处理结构化文档时，难以捕捉文档内部的语义关系。例如，表格中的单元格与标题的关 …