軟體工程
盤點並標記 LLM 呼叫點
與原始碼相連的清單,記錄每個 LLM 呼叫的呼叫者、模型或供應商邊界、資料類別、目的、互動形態與負責人,且不假設已有儀器化工具。
流程
照這個順序做。
- 設定儲存庫、版本、語言、服務與 LLM 呼叫定義,包括 wrapper、SDK 呼叫、代理工具、重試及設定選取的供應商。
- 搜尋原始碼與依賴邊界,檢查請求建構、prompt、工具迴圈、串流、備援、快取、重試與回應處理。
- 為每個呼叫點標註負責人、目的、使用者或系統觸發、模型或供應商邊界、資料分類、授權、互動模式與可觀察性狀態。
- 將呼叫對應到測試、追蹤、指標、記錄、成本控制與保留政策;無法驗證者要標出,不要從執行行為推論。
- 檢查秘密、個人資料、prompt injection 曝險、工具權限、網路出口與失敗處理,並記錄每項疑慮的證據與存取邊界。
- 依使用者影響、風險、證據強度與預期效率排序後續工作,區分原始碼事實與使用或成本假設。
- 發布含精確位置、標籤、來源、涵蓋缺口、證據與未解決風險的清單,改變正式行為前暫停。
先準備
貓會向你要的輸入。
- 儲存庫或服務範圍與版本
- LLM 供應商與 wrapper 清單
- 資料與授權邊界
- 必要標籤與可觀察性欄位
路由器 + 一份 playbook
先路由。只選一份。
Cat Paw 每次任務只載入一份 playbook,不合併多份。先走這個路由器;其餘路徑是此 workflow 可檢查的候選。
- 路由器:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
界線
界線跟著提示一起走。
- 開始前先核實實際的工具、帳戶、權限與工作區;絕不聲稱擁有不可用的工具、帳戶、來源或能力。
- 私有程式碼、成品、即時探測或非公開資料請使用 Latch/target-workspace;若無法存取,就在邊界停下並回報阻礙,不可改用猜測。
- 任何有後果的外部行動前先暫停並取得明確核准;回傳證據、未解決風險、假設,以及仍在等待核准的行動。
完成代表
一個可核對的終點。
與原始碼相連的清單按目的、資料與權限邊界、互動形狀、可觀察性、負責人、證據與未解決風險標示範圍內每個 LLM 呼叫點。
來源
這個流程從哪來。
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
來源確立 workflow 的模式。若有 Reddit 或社群貼文,視為實務軼事,不是普遍事實。