ออกแบบและอ่านผลการทดลอง A/B ของผลิตภัณฑ์

กระบวนการ

ทำตามลำดับนี้

1. ระบุการตัดสินใจ สมมติฐาน กลุ่มเป้าหมาย การแทรก ประสบการณ์ควบคุม กลไกที่คาด และความเสี่ยง ก่อนลงมือ
2. เลือกผลลัพธ์หลักหนึ่ง ข้อวินิจฉัยสนับสนุน และตัวเลขเส้นเขต กำหนดหน้าต่าง ข้อยกเว้น และความหมายของเหตุ
3. ประมาณขนาดตัวอย่างและระยะรันจากเส้นฐาน ผลที่ตรวจได้น้อยสุด ความแปรปรวน นัยสำคัญ และสมมติฐานกำลัง บันทึกวิธี
4. ตรวจการสุ่ม การบันทึกการเปิด สัดส่วนตัวอย่าง ท่อตัวเลข และการย้อนฟีเจอร์ในการทยอยภายในหรือจำกัด
5. รันตามระยะที่ระบุล่วงหน้า เว้นแต่จุดหยุดความปลอดภัยที่นิยามทำงาน โดยเฝ้าเส้นเขตโดยไม่แอบดูซ้ำแล้วเปลี่ยนกฎตัดสินใจ
6. วิเคราะห์ตามแผนที่ลงทะเบียนล่วงหน้า รายงานความไม่แน่นอนและผลเชิงปฏิบัติ ตรวจวินิจฉัยอย่างระมัดระวัง และบันทึกส่ง วนซ้ำ หยุด หรือทดสอบซ้ำพร้อมเหตุผล

เตรียมสิ่งนี้

ข้อมูลที่แมวจะขอ

• การตัดสินใจผลิตภัณฑ์และสมมติฐาน
• กลุ่มที่มีสิทธิ์และตัวเลขเส้นฐาน
• ผลที่มีความหมายน้อยสุดและขีดจำกัดความเสี่ยง
• สิทธิการทดลองและการวิเคราะห์

เราเตอร์ + playbook เดียว

จัดเส้นทางก่อน เลือกอันเดียว

Cat Paw โหลด playbook เดียวต่องาน ไม่ผสมหลายอัน เริ่มที่เราเตอร์นี้ เส้นทางที่เหลือเป็นตัวเลือกเฉพาะ workflow

• เราเตอร์: product-pack
• skills/product/pm-data-analytics/ab-test-analysis/SKILL.md
• skills/product/pm-product-discovery/brainstorm-experiments-existing/SKILL.md
• skills/product/pm-product-discovery/metrics-dashboard/SKILL.md

เสร็จหมายถึง

จุดจบที่ตรวจได้

การทดลองตามแผนวิเคราะห์ที่บันทึก ผ่านการตรวจเครื่องมือวัดและการสุ่ม ถึงเงื่อนไขหยุดที่วางแผนหรือหยุดความปลอดภัย และได้บันทึกตัดสินใจพร้อมประมาณผล ความไม่แน่นอน เส้นเขต และงานถัดไป

แหล่งที่มา

กระบวนการนี้มาจากไหน

1. wingify.com/ab-testing/
2. www.microsoft.com/en-us/research/group/experimentation-platform-exp/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
3. medium.com/beyond-the-build/the-mechanics-of-a-b-testing-and-experimentation-for-product-professionals-2dd92ad8b5c6

แหล่งที่มาตั้งรูปแบบของ workflow โพสต์ Reddit และชุมชน ถ้ามี ให้ถือเป็นเรื่องเล่าจากผู้ปฏิบัติ ไม่ใช่ข้อเท็จจริงสากล