QA
บีบอัดคำสั่งเอเจนต์โดยไม่สูญเสียความหมาย
การทดสอบการบีบอัดแบบอิงถดถอย ที่ทำให้คำสั่งเอเจนต์สั้นลงแต่ยังคงตัวกระตุ้น ข้อจำกัด ขอบเขตเครื่องมือ กฎการยกระดับ และพฤติกรรมเมื่อล้มเหลว
กระบวนการ
ทำตามลำดับนี้
- บันทึกคำสั่งพื้นฐาน เจ้าของ เงื่อนไขกระตุ้นที่ตั้งใจ กรณีที่ไม่ควรกระตุ้น และชุดทดสอบถดถอยที่ครอบคลุมกรณีสำคัญ ทั่วไป กำกวม และล้มเหลว
- กำหนดค่าคงที่ทางความหมายสำหรับการกระทำที่จำเป็นและห้าม ลำดับ การอนุมัติ มาตรฐานหลักฐาน ภาษาแสดงความไม่แน่นอน และสัญญาคำตอบสุดท้าย
- สร้างรุ่นย่อภายใต้งบการแก้ไขที่ระบุชัด เก็บต้นฉบับไว้ และแสดงสิ่งที่รวม ย้าย หรือลบออกโดยไม่สมมติว่าเท่ากัน
- เรียกรุ่นพื้นฐานและรุ่นย่อในสภาพแวดล้อมควบคุม เปรียบเทียบการเลือกเครื่องมือ แผน การอ้างอิง การปฏิเสธ และผลลัพธ์สุดท้าย ไม่ใช่แค่จำนวนโทเคน
- เพิ่มกรณีปฏิกัยสำหรับเครื่องมือที่หายไป คำสั่งที่ขัดแย้ง เนื้อหาที่ถูกแทรก คำขอข้อมูลส่วนตัว และการกระทำที่มีผลกระทบซึ่งต้องหยุด
- วัดขนาดบริบทและความชัดเจนในการทำงานเป็นสัญญาณรอง ตรวจสอบการถดถอยของพฤติกรรมทุกกรณี และคืนค่าคงที่ใด ๆ ที่ถ้อยคำที่สั้นลงทำให้อ่อนลง
- อนุมัติ แก้ไข หรือปฏิเสธรุ่นย่อด้วยการ์ดคะแนนที่มีเวอร์ชัน หลักฐานการทดสอบ ข้อจำกัดที่เปลี่ยนไป การลงนามของเจ้าของ และความเสี่ยงที่ยังไม่ได้แก้ไข
เตรียมสิ่งนี้
ข้อมูลที่แมวจะขอ
- คำสั่งเอเจนต์พื้นฐานและเวอร์ชัน
- ค่าคงที่ทางความหมายและกรณีทดสอบ
- สภาพแวดล้อมประเมินที่ควบคุม
- งบการย่อและเจ้าของการอนุมัติ
เราเตอร์ + playbook เดียว
จัดเส้นทางก่อน เลือกอันเดียว
Cat Paw โหลด playbook เดียวต่องาน ไม่ผสมหลายอัน เริ่มที่เราเตอร์นี้ เส้นทางที่เหลือเป็นตัวเลือกเฉพาะ workflow
- เราเตอร์:
token-efficient-agenting-pack skills/token-efficient-agenting-pack/agent-instruction-compression-safety-test/SKILL.md
เส้นเขต
ขอบเขตเดินทางไปกับพรอมต์
- ก่อนเริ่ม ให้ตรวจสอบเครื่องมือ บัญชี สิทธิ์ และพื้นที่ทำงานจริง ห้ามอ้างว่ามีเครื่องมือ บัญชี แหล่งข้อมูล หรือความสามารถที่ไม่พร้อมใช้งาน
- ใช้ Latch/target-workspace สำหรับโค้ดส่วนตัว ผลงาน การตรวจสอบสด หรือข้อมูลที่ไม่เป็นสาธารณะ หากไม่มีสิทธิ์เข้าถึง ให้หยุดที่ขอบเขตและรายงานสิ่งกีดขัด แทนการเดา
- หยุดเพื่อขออนุมัติอย่างชัดเจนก่อนการดำเนินการภายนอกที่มีผลกระทบ แล้วส่งกลับหลักฐาน ความเสี่ยงที่ยังไม่ได้แก้ไข สมมติฐาน และการดำเนินการใดที่ยังรอการอนุมัติ
เสร็จหมายถึง
จุดจบที่ตรวจได้
การทดสอบการย่อแบบมีเวอร์ชันแสดงว่าพฤติกรรมเอเจนต์ยังคงอยู่ในกรณีที่จำเป็นและกรณีปฏิกัย บันทึกหลักฐานและการแลกเปลี่ยน และไม่มีการถดถอยทางความหมายที่ไม่มีเจ้าของ
แหล่งที่มา
กระบวนการนี้มาจากไหน
- github.com/JuliusBrussee/caveman/tree/2fd153c67988e980fb0b2455c90832159a6a5a25/
- agentskills.io/specification
- platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview
แหล่งที่มาตั้งรูปแบบของ workflow โพสต์ Reddit และชุมชน ถ้ามี ให้ถือเป็นเรื่องเล่าจากผู้ปฏิบัติ ไม่ใช่ข้อเท็จจริงสากล