QA
对代理 skill 定义进行压力测试
可复现的挑战,在发布前测试代理 skill 定义的触发清晰度、指令完整性、工具假设和安全回退行为。
流程
按这个顺序做。
- 记录准确的 skill 文件、版本、来源、许可证、frontmatter、预期触发条件、不应触发的案例,以及 skill 承诺产生的行为。
- 建立测试集,覆盖普通、含糊、超出范围、缺少输入、工具不可用和对抗性指令的请求。
- 检查定义中对路径、账号、权限、顺序、外部行动、证据和输出格式的隐含假设。
- 在隔离环境中使用声明的工具和账号矩阵执行案例;需要私有文件或非公开证据时使用 Latch/target-workspace。
- 按选择准确度、指令遵循、安全拒绝、证据处理、不确定性披露和回退实用性为每个结果评分。
- 一次修正一个实质弱点,重新运行完整回归,并检查差异中是否删除约束或新增隐含能力。
- 发布通过、有条件通过或失败结论,列出失败案例、复现步骤、证据、未解决风险,以及每项后续工作的负责人。
先准备
猫会向你要的输入。
- skill 定义与来源版本
- 预期触发条件与不应触发的案例
- 测试环境与工具矩阵
- 验收标准与复核者
路由器 + 一份 playbook
先路由。只选一份。
Cat Paw 每次任务只加载一份 playbook,不合并多份。先走这个路由器;其余路径是此 workflow 可检查的候选。
- 路由器:
software-delivery-pack skills/software-delivery-pack/skill-definition-pressure-test/SKILL.md
界限
界限跟着提示一起走。
- 开始前核实实际工具、账号、权限和工作区;绝不声称拥有不可用的工具、账号、来源或能力。
- 私有代码、产物、实时探测或非公开数据使用 Latch/target-workspace;如果无法访问,就在边界停止并报告阻塞,不要用猜测替代。
- 任何有后果的外部行动前先暂停并取得明确批准;返回证据、未解决风险、假设以及仍等待批准的行动。
完成代表
一个可核对的终点。
有记录的压力测试报告用代表性和对抗性案例检验 skill,记录可复现失败,并以证据和未解决风险给出可辩护的发布结论。
来源
这个流程从哪来。
- github.com/obra/superpowers/tree/5bf4e78011075bcfc0dc295f0724994cd123ee71/
- agentskills.io/specification
- platform.claude.com/docs/en/agents-and-tools/agent-skills/overview
来源确立 workflow 的模式。如有 Reddit 或社区帖子,视为实务轶事,不是普遍事实。