Agent 与工作流实战评测回归Agent
给 Agent 建一套小而硬的评测集
从真实失败案例反推用例，定清通过标准和判定方式，让每次改提示词都能回归验证。
提示词模板
我要给一个 Agent 建评测集，避免每次改提示词都是凭感觉。
Agent 做什么：{{Agent 的职责和输入输出}}
已知失败案例：{{最近出错的具体例子，越具体越好}}
输出格式要求：{{结构化字段或格式约束}}
请帮我产出：
1. 用例来源：从失败案例、边界输入、正常样例三类里各出几条，总共给 15–20 条，每条写输入、期望输出要点、属于哪一类；
2. 通过标准：分成「必须满足」（格式、字段齐全、不越权）和「质量项」（准确性、完整性、语气），分别怎么判；
3. 判定方式：哪些能自动判定（正则、字段校验、JSON schema），哪些必须人工看，各占多少；
4. 稳定性：同一输入跑 3 次结果不一致的用例单独列出来，说明是提示词问题还是任务本身有歧义；
5. 回归流程：改完提示词后跑哪一档（全量还是 5 条冒烟），什么情况下必须全量；
6. 记录表：给出一个可直接用的表格字段（用例 id、输入、期望、实际、判定、日期）。
约束：不要编造我未提供的业务数据；用例数量控制在能手动维护的范围内；说明哪些用例现在就该删掉，因为无法稳定判定。需要替换的部分
复制模板后，把下面这些 {{…}} 换成你的真实信息；没有的信息宁可留空，也不要让模型编。
{{Agent 的职责和输入输出}}{{最近出错的具体例子，越具体越好}}{{结构化字段或格式约束}}
什么时候用
Agent 上线前、提示词频繁改动、出现“改了这里坏了那里”的情况。
示例
客服问答 Agent 收错 3 次字段，就把这 3 个真实对话做成用例，加 5 条边界输入，每次改 prompt 先跑这 8 条。
使用建议
- 1用例全部来自真实失败，比凭空设计 100 条更有用。
- 2先跑 5 条冒烟，全量那档留在发版前。
- 3判定不稳定的用例要么改判定方式，要么删掉，留着只会让结果看起来随机。
方法来源：原创整理。模板为中文改写与整理，可按你的任务继续修改。