RAG文档切分怎么做？从按段落切分到重叠窗口的效果排查指南

在RAG系统中，检索失败常见表现是：问题中的关键词明明出现在文档里，召回内容却缺少定义、条件或例外条款；回答看似相关，却无法给出完整依据。排查时不要先认定是Embedding模型的问题，文档切分也可能把原本连续的语义拆散了。

先根据文档结构选择切分方式

按标题切分适合规章制度、产品说明书和课程讲义等层级清晰的文档。切分后应保留章节路径，例如“报销制度>差旅费>住宿标准”，这样检索结果更容易解释。

按段落切分适合普通说明文。完整段落通常包含一个相对独立的观点，但如果单段很长，仍需继续拆分。按句子切分适合短问答、定义和步骤说明，不过句子过短可能丢失指代关系，例如“该功能仅在此条件下生效”中的“该功能”和“此条件”需要结合前文理解。

按固定长度切分可作为格式混乱文档的兜底方法，但不应机械地在任意字符位置截断。实际长度单位可能是字符、词或模型token，方案中应明确记录单位，并用测试集验证。

理解chunk size与overlap

分块越短，单个向量的主题通常越集中，检索定位可能更精确，但定义、条件和结论也更容易被分开。分块越长，背景更完整，却可能混入多个主题，使相似度排序变得不稳定，还会增加后续生成阶段的无关内容。

overlap（重叠窗口）用于保留相邻分块之间的部分上下文，适合跨段落的解释、连续步骤和长句。它不是越大越好：重叠过大可能产生大量重复向量，增加存储和检索噪声。应根据句子完整性、标题层级和问题类型逐步调整，而不是套用适用于所有文档的固定参数。

特殊内容要单独处理

• 表格：尽量保留表头、单位、行列关系和适用条件。将每一行孤立切出，可能让数值失去字段含义。
• 代码：按函数、类或配置段切分，并保留文件名、语言和行号等元数据，不要只按自然语言标点拆开。
• 列表：保留列表标题、编号和前置说明。安全要求、操作步骤等内容不能只保留其中一项。
• 超长段落：优先按句子或语义边界拆分，再通过有限重叠连接上下文；遇到定义、条件、例外和结论时，应尽量放在同一块或建立关联字段。

用测试集比较，而不是凭感觉调参

建立一组带问题与标准答案的测试集，覆盖真实失败案例。企业规章制度问答可测试“谁可以申请、需要哪些材料、有哪些例外”；产品说明书可测试参数、兼容条件和故障处理；课程讲义可测试概念定义、步骤和章节关联。

对每种切分方案分别建立索引，保持Embedding模型、查询集和排序设置一致，只改变切分规则。检查目标证据是否出现在前几条结果中，同时记录答案是否覆盖条件、来源是否准确，以及表格和代码是否保持可读。这样才能判断问题来自分块边界、重叠设置，还是检索与生成环节。

保留元数据并支持回滚

每个分块至少应保存文档名称、章节路径、页码或段落位置、原始来源标识和切分版本。回答展示引用时，用户应能从分块回到原文，而不是只看到一段无法定位的片段。

生产环境中不要直接覆盖旧索引。为切分规则记录版本，先在测试集和小范围数据上比较，再逐步切换；若召回率、引用完整性或检索噪声明显变差，可以回滚到上一版本。切分策略的目标不是追求某个固定chunk参数，而是在内容完整性、检索精度、成本和可解释性之间取得可验证的平衡。