QA
對代理 skill 定義進行壓力測試
可重現的挑戰,在發布前測試代理 skill 定義的觸發清晰度、指示完整性、工具假設與安全備援行為。
流程
照這個順序做。
- 記錄確切 skill 檔案、版本、來源、授權、frontmatter、預期觸發條件、不應觸發的案例,以及 skill 承諾產生的行為。
- 建立涵蓋一般、模糊、超出範圍、缺少輸入、工具不可用與對抗性指示的測試集。
- 檢查定義中對路徑、帳戶、權限、順序、外部行動、證據與輸出格式的隱含假設。
- 在隔離環境以聲明的工具與帳戶矩陣執行案例;需要私有檔案或非公開證據時使用 Latch/target-workspace。
- 依選擇準確度、指示遵循、安全拒絕、證據處理、不確定性揭露與備援實用性評分每個結果。
- 一次修正一項實質弱點,重跑完整回歸,並檢查差異中是否移除限制或新增隱含能力。
- 發布通過、有條件通過或失敗判定,列出失敗案例、重現步驟、證據、未解決風險,以及每項後續工作的負責人。
先準備
貓會向你要的輸入。
- skill 定義與來源版本
- 預期觸發條件與不應觸發的案例
- 測試環境與工具矩陣
- 驗收準則與複核者
路由器 + 一份 playbook
先路由。只選一份。
Cat Paw 每次任務只載入一份 playbook,不合併多份。先走這個路由器;其餘路徑是此 workflow 可檢查的候選。
- 路由器:
software-delivery-pack skills/software-delivery-pack/skill-definition-pressure-test/SKILL.md
界線
界線跟著提示一起走。
- 開始前先核實實際的工具、帳戶、權限與工作區;絕不聲稱擁有不可用的工具、帳戶、來源或能力。
- 私有程式碼、成品、即時探測或非公開資料請使用 Latch/target-workspace;若無法存取,就在邊界停下並回報阻礙,不可改用猜測。
- 任何有後果的外部行動前先暫停並取得明確核准;回傳證據、未解決風險、假設,以及仍在等待核准的行動。
完成代表
一個可核對的終點。
有紀錄的壓力測試報告以具代表性與對抗性案例執行 skill,記錄可重現失敗,並以證據與未解決風險提出可辯護的發布判定。
來源
這個流程從哪來。
- github.com/obra/superpowers/tree/5bf4e78011075bcfc0dc295f0724994cd123ee71/
- agentskills.io/specification
- platform.claude.com/docs/en/agents-and-tools/agent-skills/overview
來源確立 workflow 的模式。若有 Reddit 或社群貼文,視為實務軼事,不是普遍事實。