सॉफ्टवेयर इंजीनियरिंग
LLM कॉल-साइट का इन्वेंटरी और लेबल बनाएँ
हर LLM invocation का स्रोत-लिंक्ड इन्वेंटरी, जो कॉलकर, मॉडल या प्रोvider की सीमा, डेटा श्रेणी, उद्देश्य, इंटरैक्शन और स्वामी दर्ज करता है, यह मानकर कि उपकरण instrumentation मौजूद है।
प्रक्रिया
इस क्रम में करो।
- रिपॉज़िटरी, संशोधन, भाषाएँ, सेवाएँ और LLM कॉल की परिभाषा तय करें, जिसमें रैपर्स, SDK कॉल, एजेंट टूल, पुनःप्रयास और कॉन्फ़िगरेशन से चुने गए प्रदाता शामिल हों।
- स्रोत और निर्भरता-सीमाओं में खोजें, फिर अनुरोध निर्माण, प्रॉम्प्ट, टूल लूप, स्ट्रीमिंग, फ़ॉलबैक, कैश, पुनःप्रयास और उत्तर-प्रबंधन की जाँच करें।
- हर कॉल-साइट पर स्वामी, उद्देश्य, उपयोगकर्ता या सिस्टम ट्रिगर, मॉडल या प्रदाता-सीमा, डेटा वर्गीकरण, प्राधिकार, इंटरैक्शन पैटर्न और पर्यवेक्षण-स्थिति लगाएँ।
- कॉल को परीक्षणों, traces, मेट्रिक्स, लॉग, लागत नियंत्रण और retention नीतियों से जोड़ें; जिसे सत्यापित नहीं किया जा सकता उसे चिह्नित करें, अनुमान न लगाएँ।
- सीक्रेट, व्यक्तिगत डेटा, प्रॉम्प्ट-इंजेक्शन जोखिम, टूल अनुमतियाँ, नेटवर्क egress और विफलता-प्रबंधन की जाँच करें और हर चिंता के प्रमाण व पहुँच-सीमा दर्ज करें।
- उपयोगकर्ता प्रभाव, जोखिम, प्रमाण-शक्ति और अपेक्षित दक्षता के अनुसार अगला कार्य प्राथमिकता दें, और स्रोत तथ्य को उपयोग या लागत के अनुमान से अलग करें।
- सटीक स्थान, लेबल, प्रोवेंन्स, कवरेज अंतराल, प्रमाण और अनसुलझे जोखिम सहित सूची प्रकाशित करें, और उत्पाद व्यवहार बदलने से पहले रुकें।
यह लाओ
इनपुट जो बिल्ली मांगेगी।
- रिपॉज़िटरी या सेवा का दायरा और संशोधन
- LLM प्रदाता और रैप्पर सूची
- डेटा और प्राधिकार-सीमाएँ
- आवश्यक लेबल और पर्यवेक्षण-फ़ील्ड
राउटर + एक playbook
पहले रूट करो। एक चुनो।
Cat Paw हर काम पर एक playbook खोलता है, कई को मिलाता नहीं। इस राउटर से शुरू करो; बाकी रास्ते इसी workflow के उम्मीदवार हैं।
- राउटर:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/llm-callsite-inventory-and-labeling/SKILL.md
सीमाएँ
सीमाएँ प्रॉम्प्ट के साथ चलती हैं।
- शुरू करने से पहले वास्तविक टूल, खाते, अनुमतियों और वर्कस्पेस की जाँच करें; कभी न कहें कि अनुपलब्ध टूल, खाता, स्रोत या क्षमता मौजूद है।
- निजी कोड, कलाकृत, लाइव जाँच या गैर-सार्वजनिक डेटा के लिए Latch/target-workspace का उपयोग करें; यह पहुँच उपलब्ध न हो तो अनुमान के बजाय सीमा पर रुककर अड़चन बताएँ।
- महत्वपूर्ण बाहरी कार्रवाई से पहले स्पष्ट स्वीकृति के लिए रुकें; प्रमाण, अनसुलझे जोखिम, मान्यताएँ और स्वीकृति की प्रतीक्षा में कोई भी कार्रवाई लौटाएँ।
पूरा मतलब
एक जाँचने लायक अंत।
स्रोत से जुड़ी सूची दायरे के हर LLM कॉल-साइट को उद्देश्य, डेटा और अनुमति-सीमा, इंटरैक्शन आकार, पर्यवेक्षण, स्वामी, प्रमाण और अनसुलझे जोखिम से लेबल करती है।
स्रोत
यह प्रक्रिया कहाँ से आई।
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- github.com/open-telemetry/semantic-conventions-genai
स्रोत workflow का पैटर्न तय करते हैं। Reddit और कम्युनिटी पोस्ट, जहाँ हैं, अभ्यास की कहानी हैं — सार्वभौमिक तथ्य नहीं।
