Prompt 失败样本库好提示词不是只保存成功回答一、失败样本比成功样本更有价值Prompt 调优时很多团队只保存表现好的版本和几条漂亮回答。这样做适合写演示不适合长期迭代。真正能提升提示词质量的往往是失败样本答非所问、格式错乱、事实编造、拒答不当、工具调用遗漏。失败样本库的价值是让每次改 Prompt 都能回放旧问题。相比人工 QA 抽检几十条结构化失败库能让回归覆盖几百条历史问题成本却不会线性增长。否则今天修好了格式明天可能又把事实边界弄坏这次优化了长文本总结下次又让短任务变啰嗦。二、失败样本要结构化保存flowchart TD A[线上请求] -- B[失败标记] B -- C[样本入库] C -- D[错误类型] D -- E[Prompt 回放] E -- F[新旧版本对比]只保存输入和输出不够。还要保存任务类型、Prompt 版本、模型版本、检索结果、工具返回值、用户反馈和期望输出。缺少上下文时后续很难复现失败。失败类型要尽量稳定例如事实错误、格式错误、任务遗漏、语气不符、过度拒答、工具选择错误。分类稳定后才能看某次改动到底改善了哪类问题。三、样本模型要方便回放type PromptFailureCase { id: string task: string input: string context: Recordstring, unknown promptVersion: string model: string failureType: fact | format | missing_step | tool | refusal expectedBehavior: string }失败样本不一定都需要人工写标准答案但必须写清期望行为。比如“必须返回 JSON”“不能新增事实字段”“需要先调用搜索工具”。这些行为约束比主观评分更稳定。prompt_regression_gate: replay_failure_cases: true max_format_error_rate: 0.02 block_fact_regression: true require_owner_for_new_failure_type: true门禁要分轻重。格式错误可以自动阻塞风格问题可以人工复核事实错误则需要更严格处理。四、失败样本也要治理样本库不是越大越好。重复样本、过期样本、已经不再支持的任务样本会拖慢评测并稀释重点。可以按任务保留核心失败集再定期清理低价值重复样本。还要防止过拟合。保留隐藏集虽然能防过拟合但也意味着失败样本存在两份维护和同步成本会上升。小团队可以先从可见集开始在发布流程中要求新增失败样本有独立的抽样验证。Prompt 如果只为通过固定失败集而优化可能在真实输入上变差。可以保留隐藏失败集只在发布前运行验证改动是否真的泛化。失败样本还需要生命周期。一个失败样本被修复后不应该立刻删除而应该先进入回归集如果连续多个版本稳定通过再降级为抽样样本。这样既能保住历史教训又不会让评测集无限膨胀。failure_case_lifecycle: new_case: triage fixed_case: regression stable_versions_before_archive: 5 sample_hidden_cases_on_release: true样本采集也要注意隐私和版权。线上输入进入失败库前需要脱敏用户标识、删除敏感字段并记录来源授权。Prompt 工程看起来是模型问题实际也涉及数据治理。如果样本库本身不可用后续所有评测都会受影响。团队协作时可以为每类失败设置负责人。事实错误归知识库或检索负责人格式错误归 Prompt 负责人工具错误归 Agent 编排负责人。失败样本只有被认领才会真正推动系统改进。五、总结Prompt 失败样本库要保存失败输入、上下文、版本、错误类型和期望行为并用于每次提示词升级回放。好提示词不是一次写出来的而是在失败样本里被反复打磨出来的。