AI知识库答非所问怎么办？从文档解析到检索召回的排查指南

AI知识库出现答非所问时，先不要急着更换模型或盲目增加文档。RAG问答通常包含文档解析、文本切分、索引、查询改写、检索召回和答案生成多个环节。排查的第一步，是确认问题属于哪一类：原始内容没有被正确读取，相关证据没有进入召回结果，还是证据已经存在但模型没有据此作答。

一、先判断问题发生在哪个环节

可以用一个具体问题进行链路追踪，并记录原始查询、召回片段、排序结果和最终答案。如果召回结果中完全没有相关条款，重点检查解析、切分、索引和检索配置；如果召回结果包含正确证据，但答案仍然错误，则应检查提示词、上下文拼接、冲突内容和生成参数。

例如，员工询问“出差住宿超标能否报销”，系统回答“可以按实际金额报销”。此时应先查看报销制度中关于城市级别、住宿标准和例外情况的原文，而不是只根据答案判断模型能力。若相关条款没有被召回，问题在检索链路；若条款已被召回却被忽略，才需要进一步分析生成阶段。

二、抽查文档解析结果

文档解析是知识库检索的基础。PDF并不等于结构化文本，尤其要注意扫描件、双栏排版、复杂表格、页眉页脚和脚注。扫描版PDF可能只有图片，若没有经过文字识别，检索系统实际拿不到正文。表格在提取后也可能出现行列错位，使“型号—参数”“条件—金额”等对应关系被拆散。

建议随机抽取几份原始文档，与系统保存的纯文本或中间解析结果逐段对照。重点检查标题是否保留、条款编号是否连续、表格字段是否可读，以及页眉页脚是否被重复插入正文。对于报销制度、产品手册等资料，标题、章节名和适用范围往往直接影响检索判断，不能只保留孤立的正文句子。

三、检查文本切分是否破坏语义

固定长度切分便于处理，但不应成为唯一标准。切分时应优先参考标题、段落、列表、条款编号和自然语义边界，并适当保留上级标题或文档名称作为上下文。一个片段如果只有“不得超过”“特殊情况除外”等半句话，即使向量相似度较高，也难以支持可靠回答。

还要检查相关信息是否被拆到不同片段。例如产品说明书中，型号在标题，额定功率在参数表，使用限制又在下一段。若三者被完全分开，用户询问某型号参数时可能只能召回其中一部分。可以通过合理的重叠、父子片段或标题继承，减少关键信息被割裂的情况，但具体切分方式仍应根据文档结构和测试结果调整。

四、确认查询与嵌入模型是否匹配

用户提问的语言、术语和文档原文不一致，也会影响召回。例如文档写“差旅住宿费”，用户问“出差住酒店怎么报销”；产品资料使用内部型号，用户却只输入俗称。此时应检查查询改写、同义词、术语表和元数据过滤是否生效。

同时确认查询与文档是否使用了适合的语言和领域嵌入模型。中文文档、英文资料、代码、型号和大量数字混合时，不能只看模型名称判断效果，应通过实际问题集比较。还要排除过滤条件过严、租户或权限范围错误、索引未及时更新等非模型因素。

五、对比关键词、向量与混合检索

关键词检索擅长匹配型号、条款编号、专有名词和精确数字；向量检索更适合处理表达不同但含义相近的问法。单独使用其中一种方式，可能分别漏掉精确标识或语义相关内容。可以用同一组问题分别查看关键词结果、向量结果和混合结果，比较正确证据是否出现、排名位置如何，以及是否混入了相似但适用范围不同的文档。

如果问题包含明确型号、版本、部门或地区，建议把这些条件作为可检索字段或过滤条件验证；如果问题表达较口语化，则应重点观察语义召回是否找到同义表述。重排可以作为后续实验项，但不能预先假设加入重排模型就一定提高准确率，仍需用固定数据验证。

六、用固定问题集逐项调整

建立一组覆盖常见问法、边界条件、表格数据和跨段落信息的问题。每次调整只改变一个主要变量，并记录以下结果：正确证据是否被召回、证据排名位置、最终答案是否引用了证据、答案是否遗漏限制条件，以及系统是否在无依据时明确说明无法确认。

1. 先验证解析文本与原文是否一致。
2. 再调整切分规则和上下文继承方式。
3. 随后比较关键词、向量和混合检索结果。
4. 最后检查生成提示与答案中的证据对应关系。

通过这种方式，团队可以把“答非所问”拆成可观察、可复现的检索问题。对于报销制度，应重点验证适用人员、金额上限和例外条款；对于产品说明书，应重点验证型号、单位、参数范围和版本关联。只有先定位证据在哪一步丢失，后续配置调整才有明确依据。