Программная инженерия
Инвентаризируйте и пометьте места вызовов LLM
Инвентарь, связанный с исходным кодом, фиксирует вызывающий код, границу модели или провайдера, класс данных, цель, форму взаимодействия и владельца каждого вызова LLM, не предполагая наличия инструмента наблюдения.
Процесс
Делай в этом порядке.
- Задайте репозиторий, ревизию, языки, сервисы и определение вызова LLM, включая обёртки, вызовы SDK, инструменты агента, повторные попытки и провайдеров, выбранных конфигурацией.
- Ищите в исходном коде и на границах зависимостей, затем проверяйте построение запросов, подсказки, циклы инструментов, потоковую передачу, запасные пути, кэш, повторы и обработку ответов.
- Пометьте каждое место вызова владельцем, целью, триггером пользователя или системы, границей модели или провайдера, классификацией данных, авторизацией, схемой взаимодействия и состоянием наблюдаемости.
- Сопоставьте вызовы с тестами, трассировками, метриками, журналами, контролем затрат и политиками хранения, отмечая то, что нельзя проверить, вместо предположения о поведении выполнения.
- Проверьте секреты, персональные данные, риск внедрения подсказок, разрешения инструментов, исходящий трафик и обработку отказов, записывая доказательства и границу доступа по каждой проблеме.
- Расставьте приоритеты последующих работ по влиянию на пользователя, риску, силе доказательств и ожидаемой эффективности, отличая факт исходного кода от гипотезы об использовании или стоимости.
- Опубликуйте инвентарь с точными расположениями, метками, происхождением, пробелами покрытия, доказательствами и нерешёнными рисками и остановитесь перед изменением производственного поведения.
Принеси это
Входы, которые кот спросит.
- область и ревизия репозитория или сервиса
- инвентарь провайдеров LLM и обёрток
- границы данных и авторизации
- обязательные метки и поля наблюдаемости
Роутер + один playbook
Сначала маршрут. Выбери один.
Cat Paw открывает один playbook на задачу, не смешивает несколько. Начни с этого роутера; остальные пути — кандидаты именно этого workflow.
- Роутер:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
Границы
Границы едут вместе с промптом.
- Перед началом проверьте реальные инструменты, учётные записи, разрешения и рабочую область; никогда не утверждайте, что недоступный инструмент, учётная запись, источник или возможность существует.
- Используйте Latch/target-workspace для приватного кода, артефактов, живых проверок или непубличных данных; если доступ недоступен, остановитесь на границе и сообщите о блокировке, не подменяя её догадкой.
- Приостановите работу для явного одобрения перед внешними действиями с последствиями; верните доказательства, нерешённые риски, допущения и любое действие, ожидающее одобрения.
Готово значит
Проверяемый финиш.
Инвентарь, связанный с исходным кодом, помечает каждое место вызова LLM в области по цели, границам данных и разрешений, форме взаимодействия, наблюдаемости, владельцу, доказательствам и нерешённым рискам.
Источники
Откуда взялся этот процесс.
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
Источники задают рисунок workflow. Посты Reddit и сообщества, если они есть, — байки практиков, не универсальные факты.
