Ingeniería de software
Inventaríe y etiquete los puntos de llamada de LLM
Un inventario enlazado al código fuente de cada invocación de LLM que registra llamante, límite de modelo o proveedor, clase de datos, propósito, forma de interacción y responsable, sin asumir que existe una herramienta instrumentada.
El proceso
Hazlo en este orden.
- Define el repositorio, la revisión, los lenguajes, los servicios y la definición de una llamada LLM, incluidos wrappers, llamadas SDK, herramientas de agente, reintentos y proveedores seleccionados por configuración.
- Busca en el código y en las fronteras de dependencias; inspecciona la construcción de solicitudes, los prompts, los bucles de herramientas, el streaming, los fallbacks, la caché, los reintentos y el tratamiento de respuestas.
- Etiqueta cada punto de llamada con responsable, propósito, desencadenador de usuario o sistema, frontera de modelo o proveedor, clasificación de datos, autorización, patrón de interacción y estado de observabilidad.
- Mapea las llamadas a pruebas, trazas, métricas, logs, controles de costes y políticas de retención; marca lo que no pueda verificarse en vez de inferir el comportamiento de ejecución.
- Revisa secretos, datos personales, exposición a prompt injection, permisos de herramientas, salida de red y gestión de fallos; registra la evidencia y la frontera de acceso de cada preocupación.
- Prioriza el trabajo posterior por impacto en el usuario, riesgo, fuerza de la evidencia y eficiencia esperada, distinguiendo un hecho del código fuente de una hipótesis sobre uso o coste.
- Publica el inventario con ubicaciones exactas, etiquetas, procedencia, lagunas de cobertura, evidencias y riesgos no resueltos, y pausa antes de cambiar el comportamiento de producción.
Trae esto
Datos que el gato va a pedir.
- alcance y revisión del repositorio o servicio
- inventario de proveedores y wrappers de LLM
- fronteras de datos y autorización
- etiquetas y campos de observabilidad requeridos
Router + un playbook
Enruta primero. Elige uno.
Cat Paw carga un playbook por tarea, no mezcla varios. Empieza por este router; el resto son candidatos específicos del workflow.
- Router:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
Límites
Los límites viajan con el prompt.
- Verifica las herramientas, cuentas, permisos y el espacio de trabajo reales antes de empezar; nunca afirmes que exista una herramienta, cuenta, fuente o capacidad no disponible.
- Usa Latch/target-workspace para código privado, artefactos, sondeos en vivo o datos no públicos; si ese acceso no está disponible, detente en el límite e informa del bloqueo en lugar de sustituirlo por una suposición.
- Pausa para obtener aprobación explícita antes de acciones externas con consecuencias; devuelve evidencias, riesgos no resueltos, supuestos y cualquier acción que aún esté esperando aprobación.
Listo significa
Un cierre que se puede comprobar.
Un inventario enlazado al código fuente etiqueta cada punto de llamada LLM del alcance por propósito, frontera de datos y permisos, forma de interacción, observabilidad, responsable, evidencias y riesgos no resueltos.
Fuentes
De dónde sale este proceso.
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
Las fuentes fijan el patrón del workflow. Los posts de Reddit y de la comunidad, cuando aparecen, se tratan como anécdotas de quien lo practica, no como hechos universales.