Engenharia de software
Inventarie e rotule locais de chamada de LLM
Um inventário ligado ao código-fonte de cada invocação de LLM que registra chamador, fronteira de modelo ou provedor, classe de dados, propósito, forma de interação e responsável, sem assumir que existe uma ferramenta instrumentada.
O processo
Faça nesta ordem.
- Defina o repositório, a revisão, as linguagens, os serviços e o significado de uma chamada LLM, incluindo wrappers, chamadas de SDK, ferramentas de agente, retentativas e provedores selecionados por configuração.
- Pesquise o código-fonte e as fronteiras de dependências e então inspecione a construção das requisições, prompts, loops de ferramentas, streaming, fallbacks, cache, retentativas e tratamento das respostas.
- Rotule cada ponto de chamada com responsável, finalidade, gatilho de usuário ou sistema, fronteira de modelo ou provedor, classificação dos dados, autorização, padrão de interação e estado de observabilidade.
- Mapeie chamadas para testes, rastros, métricas, logs, controles de custo e políticas de retenção, marcando o que não puder ser verificado em vez de inferir o comportamento de execução.
- Revise segredos, dados pessoais, exposição a prompt injection, permissões de ferramentas, saída de rede e tratamento de falhas, e registre a evidência e a fronteira de acesso de cada preocupação.
- Priorize trabalhos seguintes por impacto no usuário, risco, força da evidência e eficiência esperada, distinguindo um fato do código-fonte de uma hipótese sobre uso ou custo.
- Publique o inventário com localizações exatas, rótulos, proveniência, lacunas de cobertura, evidências e riscos não resolvidos, e pause antes de mudar o comportamento de produção.
Traga isto
Entradas que o gato vai pedir.
- escopo e revisão do repositório ou serviço
- inventário de provedores e wrappers de LLM
- fronteiras de dados e autorização
- rótulos e campos de observabilidade exigidos
Roteador + um playbook
Roteie primeiro. Escolha um.
O Cat Paw carrega um playbook por tarefa, sem misturar vários. Comece por este roteador; os outros caminhos são candidatos específicos do workflow.
- Roteador:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
Limites
As fronteiras viajam com o prompt.
- Verifique as ferramentas, contas, permissões e o espaço de trabalho reais antes de começar; nunca afirme que uma ferramenta, conta, fonte ou capacidade indisponível existe.
- Use Latch/target-workspace para código privado, artefatos, sondagens ao vivo ou dados não públicos; se esse acesso estiver indisponível, pare no limite e relate o bloqueio em vez de substituir por uma suposição.
- Pause para aprovação explícita antes de ações externas consequentes; retorne evidências, riscos não resolvidos, premissas e qualquer ação que ainda esteja aguardando aprovação.
Pronto significa
Um fim que dá para checar.
Um inventário ligado ao código-fonte rotula cada ponto de chamada LLM no escopo por finalidade, fronteira de dados e permissões, forma de interação, observabilidade, responsável, evidências e riscos não resolvidos.
Fontes
De onde veio este processo.
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
As fontes estabelecem o padrão do workflow. Posts de Reddit e da comunidade, quando aparecem, valem como anedota de quem pratica — não como fato universal.
