营销
进行营销实验回顾
站得住脚的读出：实验证明了什么、没证明什么，再加上下一档活动的一项书面决策。
流程
按这个顺序做。
- 恢复原始假设、受众、变体、主指标、护栏指标、运行时间和决策规则。
- 比较结果前，核验埋点、分配、排除、样本污染和数据完备性。
- 报告预选主指标和护栏的结果，尽可能包含原始分母和不确定性。
- 检查运营问题、季节性、渠道组合或不等曝光是否提供合理替代解释。
- 只把预先计划的细分当作确认；把任何事后细分发现标为探索性。
- 根据证据和实际影响决定采用、拒绝、重跑或重设计变体，而不是只看方向变动。
- 把设置、结果、注意事项、决定、责任人和后续实验归档到实验日志。
先准备
猫会向你要的输入。
- 实验计划
- 变体与曝光数据
- 结果与护栏指标
- 已知活动事件或变更
路由器 + 一份 playbook
先路由。只选一份。
Cat Paw 每次任务只加载一份 playbook，不合并多份。先走这个路由器；其余路径是此 workflow 可检查的候选。
- 路由器：
product-pack skills/product/pm-data-analytics/ab-test-analysis/SKILL.mdskills/product/pm-execution/retro/SKILL.md
界限
界限跟着提示一起走。
- 看到结果后不要改主指标，除非把分析标为探索性。
- 分配或埋点受损时，不要声称因果。
- 保护用户隐私，并在适当时使用汇总报告。
- 报告负面和不确定结果，而不是挑选细分。
完成代表
一个可核对的终点。
复盘记录经验证数据、主指标与护栏结果、注意事项、有依据的决定，以及实验日志中的具名后续行动。
来源
这个流程从哪来。
来源确立 workflow 的模式。如有 Reddit 或社区帖子，视为实务轶事，不是普遍事实。
