软件工程
盘点并标记 LLM 调用点
与源代码相连的清单,记录每次 LLM 调用的调用者、模型或提供商边界、数据类别、用途、交互形态和负责人,且不假设已有埋点工具。
流程
按这个顺序做。
- 设定仓库、修订、语言、服务和 LLM 调用的定义,包括封装器、SDK 调用、代理工具、重试以及配置选择的提供商。
- 搜索源代码和依赖边界,检查请求构造、提示词、工具循环、流式处理、回退、缓存、重试和响应处理。
- 为每个调用点标记负责人、用途、用户或系统触发器、模型或提供商边界、数据分类、授权、交互模式、可观测性状态。
- 把调用映射到测试、追踪、指标、日志、成本控制和保留政策;对无法核实的内容做标记,不要从运行时行为推断。
- 检查秘密、个人数据、提示词注入暴露、工具权限、网络出口和失败处理,并记录每项问题的证据与访问边界。
- 按用户影响、风险、证据强度和预期效率安排后续工作,区分源代码事实与关于使用或成本的假设。
- 发布包含准确位置、标签、来源、覆盖缺口、证据和未解决风险的清单,改变生产行为前暂停。
先准备
猫会向你要的输入。
- 仓库或服务范围与修订
- LLM 提供商与封装器清单
- 数据与授权边界
- 必需标签与可观测性字段
路由器 + 一份 playbook
先路由。只选一份。
Cat Paw 每次任务只加载一份 playbook,不合并多份。先走这个路由器;其余路径是此 workflow 可检查的候选。
- 路由器:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
界限
界限跟着提示一起走。
- 开始前核实实际工具、账号、权限和工作区;绝不声称拥有不可用的工具、账号、来源或能力。
- 私有代码、产物、实时探测或非公开数据使用 Latch/target-workspace;如果无法访问,就在边界停止并报告阻塞,不要用猜测替代。
- 任何有后果的外部行动前先暂停并取得明确批准;返回证据、未解决风险、假设以及仍等待批准的行动。
完成代表
一个可核对的终点。
与源代码相连的清单按用途、数据和权限边界、交互形态、可观测性、负责人、证据和未解决风险标记范围内的每个 LLM 调用点。
来源
这个流程从哪来。
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
来源确立 workflow 的模式。如有 Reddit 或社区帖子,视为实务轶事,不是普遍事实。