Promptfoo

修改提示词或更换模型后，AI 应用在已有问题上的表现可能发生变化。Promptfoo 支持开发者用测试用例比较输出，将提示词调整、模型选择和授权安全评估放进可重复的测试流程，为人工审查提供参考。

Promptfoo是什么

Promptfoo 是开源的大语言模型应用评估工具，整合了测试用例执行、提示词与模型比较、命令行操作、结果查看和红队测试能力。它覆盖应用开发中的效果验证与安全评估，适合在开发和迭代过程中使用。运行前需要准备环境、模型连接和测试用例，结果应结合实际业务判断。

Promptfoo的主要功能

• 提示词比较：让不同提示词接受同一组测试问题，检查输出差异，为措辞和指令调整提供依据。
• 模型效果比较：围绕相同任务比较不同模型的输出，观察回答是否符合业务需求和预期表达。
• 提示词回归测试：在修改提示词后重新执行已有用例，检查原本符合预期的回答是否出现退步。
• 命令行执行：通过命令行运行配置好的评估任务，便于开发者在迭代过程中重复执行测试。
• 结果界面查看：通过结果查看界面检查测试输出，结合具体用例分析不同提示词或模型的表现。
• 授权红队测试：针对有权测试的大语言模型应用开展安全评估，用测试结果辅助定位待复核的问题。

如何使用Promptfoo

• 明确评估目标：选定要验证的任务，写清回答应满足的条件，以及需要关注的错误类型。
• 准备运行环境：按官方文档配置工具和所需依赖，确认能够执行命令行任务。
• 连接目标模型：配置模型访问方式及必要凭据，确认调用权限和对应服务的计费规则。
• 编写测试用例：整理常见问题、边界输入和已知错误案例，为不同候选方案准备相同输入。
• 执行并检查结果：运行评估，通过结果界面查看输出，对存在争议或风险的回答进行人工复核。
• 保留并补充用例：将确认的问题加入后续测试，在提示词或模型变更后再次运行并比较。

Promptfoo的核心优势

• 比较条件更一致：使用相同测试用例比较候选方案，减少临时提问不同造成的判断偏差。
• 便于持续回归：复用已有用例检查修改后的输出，帮助发现调整提示词时引入的新问题。
• 兼顾执行与查看：命令行用于运行任务，结果界面用于检查输出，方便开发者定位差异。
• 覆盖安全评估需求：提供红队测试能力，让获授权的应用测试能够关注潜在安全问题。

Promptfoo的适用人群

• AI 应用开发者：在功能迭代时验证提示词或模型变更对回答结果的影响。
• 提示词维护人员：比较不同指令写法，并保留常见问题用于后续回归。
• 测试与质量人员：整理业务测试用例，检查输出是否符合要求并记录待复核问题。
• 授权安全评估人员：在明确许可范围内开展红队测试，协助发现应用中的潜在风险。

价格与免费试用

Promptfoo 提供开源工具，可依据官方文档和开源许可获取、配置与使用。开源不意味着整个评估过程没有成本：调用外部模型可能产生对应服务商的 API 费用。其他服务的价格、试用资格或免费额度，应通过官网确认，不能由开源属性推断。

效果点评

Promptfoo 将用例比较、命令行执行和结果查看结合起来，适合需要反复验证提示词与模型表现的开发流程。局限在于前期需要配置环境、模型连接和用例，评估质量也取决于用例是否覆盖真实场景。回归测试与红队测试都不能保证发现所有问题，关键输出仍需人工审查。