產品
設計並解讀產品 A/B 實驗
事先指定、已埋點的實驗，可支援產品決策，而不事後挑指標或造成不安全曝光。
流程
照這個順序做。
- 實作前陳述決策、假設、目標族群、介入、對照體驗、預期機制與風險。
- 選一個主要成果、輔助診斷與護欄指標；定義時窗、排除與事件語意。
- 依基準、最小可偵測效果、變異、顯著與檢定力假設估計所需樣本與執行時間；記錄方法。
- 在內部或有限放量驗證隨機、暴露紀錄、樣本比平衡、指標管線與功能回復。
- 依預先指定時長執行，除非觸發既定安全停止；監控護欄，不要反覆偷看並改決策規則。
- 依預先登記計畫分析，回報不確定性與實際效果，謹慎檢查診斷，並記錄上線、迭代、停止或重測及理由。
先準備
貓會向你要的輸入。
- 產品決策與假設
- 合格族群與基準指標
- 最小有意義效果與風險上限
- 實驗與分析存取
路由器 + 一份 playbook
先路由。只選一份。
Cat Paw 每次任務只載入一份 playbook，不合併多份。先走這個路由器；其餘路徑是此 workflow 可檢查的候選。
- 路由器：
product-pack skills/product/pm-data-analytics/ab-test-analysis/SKILL.mdskills/product/pm-product-discovery/brainstorm-experiments-existing/SKILL.mdskills/product/pm-product-discovery/metrics-dashboard/SKILL.md
界線
界線跟著提示一起走。
- 未經審查、回復與安全護欄，不要讓使用者承受重大風險。
- 看到結果後不要改主要指標、排除或停止規則，除非把分析標為探索性。
- 詮釋結果前先檢查儀器與樣本比不符。
完成代表
一個可核對的終點。
實驗遵循書面分析計畫、通過儀器與隨機檢查、達到計畫停止條件或安全停止，並產出含效果估計、不確定性、護欄與下一步的決策備忘。
來源
這個流程從哪來。
- wingify.com/ab-testing/
- www.microsoft.com/en-us/research/group/experimentation-platform-exp/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
- medium.com/beyond-the-build/the-mechanics-of-a-b-testing-and-experimentation-for-product-professionals-2dd92ad8b5c6
來源確立 workflow 的模式。若有 Reddit 或社群貼文，視為實務軼事，不是普遍事實。
