CAT PAW

全部 workflow

QA

对代理 skill 定义进行压力测试

可复现的挑战,在发布前测试代理 skill 定义的触发清晰度、指令完整性、工具假设和安全回退行为。

流程

按这个顺序做。

  1. 记录准确的 skill 文件、版本、来源、许可证、frontmatter、预期触发条件、不应触发的案例,以及 skill 承诺产生的行为。
  2. 建立测试集,覆盖普通、含糊、超出范围、缺少输入、工具不可用和对抗性指令的请求。
  3. 检查定义中对路径、账号、权限、顺序、外部行动、证据和输出格式的隐含假设。
  4. 在隔离环境中使用声明的工具和账号矩阵执行案例;需要私有文件或非公开证据时使用 Latch/target-workspace。
  5. 按选择准确度、指令遵循、安全拒绝、证据处理、不确定性披露和回退实用性为每个结果评分。
  6. 一次修正一个实质弱点,重新运行完整回归,并检查差异中是否删除约束或新增隐含能力。
  7. 发布通过、有条件通过或失败结论,列出失败案例、复现步骤、证据、未解决风险,以及每项后续工作的负责人。

先准备

猫会向你要的输入。

  • skill 定义与来源版本
  • 预期触发条件与不应触发的案例
  • 测试环境与工具矩阵
  • 验收标准与复核者

路由器 + 一份 playbook

先路由。只选一份。

Cat Paw 每次任务只加载一份 playbook,不合并多份。先走这个路由器;其余路径是此 workflow 可检查的候选。

  • 路由器: software-delivery-pack
  • skills/software-delivery-pack/skill-definition-pressure-test/SKILL.md

界限

界限跟着提示一起走。

  • 开始前核实实际工具、账号、权限和工作区;绝不声称拥有不可用的工具、账号、来源或能力。
  • 私有代码、产物、实时探测或非公开数据使用 Latch/target-workspace;如果无法访问,就在边界停止并报告阻塞,不要用猜测替代。
  • 任何有后果的外部行动前先暂停并取得明确批准;返回证据、未解决风险、假设以及仍等待批准的行动。

完成代表

一个可核对的终点。

有记录的压力测试报告用代表性和对抗性案例检验 skill,记录可复现失败,并以证据和未解决风险给出可辩护的发布结论。

来源

这个流程从哪来。

  1. github.com/obra/superpowers/tree/5bf4e78011075bcfc0dc295f0724994cd123ee71/
  2. agentskills.io/specification
  3. platform.claude.com/docs/en/agents-and-tools/agent-skills/overview

来源确立 workflow 的模式。如有 Reddit 或社区帖子,视为实务轶事,不是普遍事实。

AI 行动。你决定。

给 AI 的人类刹车。

Latch 会在每个指令、点击和文件变更发生前先展示——你可以说好、不要,或再等等。

Plow Latch · macOS Cat Paw Latch · Windows + Linux · 从源码构建
Cat Paw Latch

号码背后

两个 harness,一条线。

相同号码、相同的 100 美元额度。选择你发消息时由哪个 harness 回复。

Hermes

Nous Research 的终端原生代理。跑在你的机器上,跨会话保留记忆,每项任务开一份 playbook。

发消息给 Hermes
OpenClaw

开源助手,跑在你自己的电脑上,在你已在用的频道里回复。每项任务一份 playbook。

发消息给 OpenClaw

两个 harness 共用同一条线 +1 628 246 3032

会打开“信息”,并已带入选好的 harness。