行銷
進行行銷實驗回顧
站得住腳的讀出：實驗證明了什麼、沒證明什麼，再加上下一檔活動的一項書面決策。
流程
照這個順序做。
- 找回原始假設、受眾、變體、主要指標、護欄指標、執行時間與決策規則。
- 比較結果前，先驗證儀器、指派、排除、樣本污染與資料完整性。
- 回報預先選定的主要指標與護欄結果，盡量含原始分母與不確定性。
- 檢查營運問題、季節性、頻道組合或不等暴露是否提供合理替代解釋。
- 只把預先規劃區隔當確認；事後區隔發現標為探索性。
- 依證據與實際影響決定採用、拒絕、重跑或重設計變體，而不只看方向性變動。
- 把設定、結果、限制、決策、負責人與後續實驗封存在實驗日誌。
先準備
貓會向你要的輸入。
- 實驗計畫
- 變體與暴露資料
- 成果與護欄指標
- 已知活動事件或變更
路由器 + 一份 playbook
先路由。只選一份。
Cat Paw 每次任務只載入一份 playbook，不合併多份。先走這個路由器；其餘路徑是此 workflow 可檢查的候選。
- 路由器：
product-pack skills/product/pm-data-analytics/ab-test-analysis/SKILL.mdskills/product/pm-execution/retro/SKILL.md
界線
界線跟著提示一起走。
- 看到結果後不要改主要指標，除非把分析標為探索性。
- 指派或儀器受損時，不要主張因果。
- 保護使用者隱私，適當時使用彙總報告。
- 回報負面與無結論結果，而不是挑選區隔。
完成代表
一個可核對的終點。
回顧記錄已驗證資料、主要與護欄結果、限制、有依據的決策，以及實驗日誌中的具名後續行動。
來源
這個流程從哪來。
來源確立 workflow 的模式。若有 Reddit 或社群貼文，視為實務軼事，不是普遍事實。
