QA
Проверьте определение skill агента под нагрузкой
Воспроизводимое испытание определения skill агента проверяет ясность триггеров, полноту инструкций, предположения об инструментах и безопасное поведение при отказе до публикации.
Процесс
Делай в этом порядке.
- Зафиксируйте точный файл skill, версию, источник, лицензию, frontmatter, предполагаемый триггер, случаи, которые не должны запускать skill, и поведение, которое skill обещает создавать.
- Создайте набор тестов для обычных, неоднозначных, выходящих за область, неполных запросов, недоступных инструментов и враждебных инструкций.
- Проверьте определение на скрытые допущения о путях, учётных записях, разрешениях, порядке, внешних действиях, доказательствах и формате вывода.
- Запустите случаи в изолированной среде с объявленной матрицей инструментов и учётных записей, используя Latch/target-workspace, когда нужны приватные файлы или непубличные доказательства.
- Оцените каждый результат по точности выбора, соблюдению инструкций, безопасному отказу, работе с доказательствами, раскрытию неопределённости и полезности запасного пути.
- Исправляйте по одному существенному недостатку, повторно запускайте весь набор регрессии и проверяйте diff на удалённые ограничения или новые подразумеваемые возможности.
- Опубликуйте вердикт о прохождении, условном прохождении или провале с неуспешными случаями, шагами воспроизведения, доказательствами, нерешёнными рисками и владельцем каждого исправления.
Принеси это
Входы, которые кот спросит.
- определение skill и версия источника
- предполагаемые триггеры и случаи без срабатывания
- тестовая среда и матрица инструментов
- рубрика приёмки и проверяющий
Роутер + один playbook
Сначала маршрут. Выбери один.
Cat Paw открывает один playbook на задачу, не смешивает несколько. Начни с этого роутера; остальные пути — кандидаты именно этого workflow.
- Роутер:
software-delivery-pack skills/software-delivery-pack/skill-definition-pressure-test/SKILL.md
Границы
Границы едут вместе с промптом.
- Перед началом проверьте реальные инструменты, учётные записи, разрешения и рабочую область; никогда не утверждайте, что недоступный инструмент, учётная запись, источник или возможность существует.
- Используйте Latch/target-workspace для приватного кода, артефактов, живых проверок или непубличных данных; если доступ недоступен, остановитесь на границе и сообщите о блокировке, не подменяя её догадкой.
- Приостановите работу для явного одобрения перед внешними действиями с последствиями; верните доказательства, нерешённые риски, допущения и любое действие, ожидающее одобрения.
Готово значит
Проверяемый финиш.
Документированный отчёт о нагрузочном тестировании проверяет skill на репрезентативных и враждебных случаях, записывает воспроизводимые сбои и даёт обоснованный вердикт о публикации с доказательствами и нерешёнными рисками.
Источники
Откуда взялся этот процесс.
- github.com/obra/superpowers/tree/5bf4e78011075bcfc0dc295f0724994cd123ee71/
- agentskills.io/specification
- platform.claude.com/docs/en/agents-and-tools/agent-skills/overview
Источники задают рисунок workflow. Посты Reddit и сообщества, если они есть, — байки практиков, не универсальные факты.