RAG知识库效果怎么评测？测试集、引用核对与回归检查指南

RAG知识库的效果评测，核心不是给模型一个笼统分数，而是判断它是否找到了正确资料、是否依据资料回答，以及在没有答案时能否明确拒答。小团队可以先建立一份固定测试集，再用统一表格记录每次版本的结果，避免只凭日常体验判断好坏。

一、先按问题类型建立测试集

测试集不宜只收集最常见、最容易回答的问题。建议覆盖以下几类：

• 常见问题：验证知识库能否处理高频查询，例如报销范围、申请流程和材料要求。
• 多文档问题：需要同时阅读多个文件，检查系统能否合并相关信息，而不是只引用其中一份。
• 无答案问题：问题所需信息不在资料中，用于观察系统是否说明无法确认，而不是自行补充。
• 容易混淆的问题：涉及新旧制度、相似部门或不同适用范围，检查系统是否引用了错误版本。

以企业报销制度为例，可以同时加入“差旅住宿如何报销”“海外出差需要哪些材料”“旧制度中的餐费标准是否仍适用”等问题。测试集应保留真实用户表达，包括简称、口语和不完整句子，但不要为了追求复杂而加入无法判断意图的问题。

二、为每道题建立评测记录

每道测试题至少记录问题、问题类型、参考答案、证据片段和文档位置。文档位置可以是文件名、章节标题、页码、条款编号或网页段落，关键是让复核人员能够回到原文。

字段	记录内容
问题	固定的用户提问及必要的场景说明
参考答案	基于现有资料整理的可接受答案范围
证据	支持答案的原文片段
文档位置	文件、章节、页码或条款编号
判定项	检索、正确性、引用、拒答、耗时和成本

参考答案不必写成唯一标准句子，应记录必须出现的事实、适用条件和不能越过的边界。例如，报销标准需要同时注明适用人员、地区和生效时间，避免把“答到了金额”误判为完整正确。

三、把检索质量和生成质量分开检查

第一步检查检索结果是否包含所需证据。若正确条款根本没有进入候选内容，问题更可能出在分块、关键词处理、向量检索或过滤条件上。此时即使模型最终答对，也不能说明检索稳定可靠。

第二步检查生成答案是否忠于证据。重点观察答案是否遗漏限制条件、混合不同版本、扩展出资料中没有的结论，以及引用是否真的支持对应说法。对于多文档问题，应逐句核对答案与证据的关系，而不是只看引用数量。

四、设置可执行的评分项

可以为每个版本记录以下结果：答案正确性、引用支持程度、拒答表现、检索是否命中证据、响应耗时和调用成本。评分规则应先写清楚，再开始比较。例如正确性可分为“正确、部分正确、错误”；引用可分为“完全支持、部分支持、不支持、无引用”。

无答案问题要单独统计。理想表现不是强行给出一个看似完整的答案，而是明确说明现有资料无法确认，并在可能时指出需要补充什么信息。耗时和成本也应保留原始记录，但不要把它们与正确性混成一个无法解释的总分。

五、固定条件进行回归比较

当调整分块大小、检索数量、过滤条件、提示词或生成模型时，应尽量固定测试集和其他配置，只改变一个主要变量。每次运行保存版本标识、配置、测试时间和逐题结果，并对比新增正确题、退化题、引用变化和拒答变化。

回归检查尤其要关注关键问题，而不是只看平均分。例如新版本可能提高了常见问题的表现，却把新旧报销制度混用；也可能减少了拒答，却增加了资料外推。发现退化时，保留原始答案、检索片段和引用位置，便于定位变化来自检索还是生成。

六、自动评分只能辅助人工复核

规则匹配、关键词检查和模型裁判可以帮助批量筛选，但不能直接当作客观真值。自动评分可能忽略适用条件，也可能因为答案措辞不同而误判。涉及政策版本、金额、权限和合规要求的问题，应由熟悉资料的人员核对原文。

小团队可以先从几十道高价值问题开始，建立清晰的判定说明，再逐步扩充覆盖范围。比起追求一个适用于所有知识库的统一合格分数，更重要的是持续使用同一套测试集和标准，知道每次修改改善了什么、损失了什么，以及哪些问题仍需要人工处理。