产品
设计并解读产品 A/B 实验
事先指定、已埋点的实验，可支持产品决策，而不事后挑指标或造成不安全曝光。
流程
按这个顺序做。
- 在实施前说明决策、假设、目标人群、干预、对照体验、预期机制和风险。
- 选择一个主结果、支持诊断和护栏指标；定义窗口、排除和事件语义。
- 用基线、最小可检测效应、方差、显著性和效力假设估算所需样本量和运行时间；记录方法。
- 在内部或有限放量中核验随机化、曝光日志、样本比平衡、指标管道和功能回滚。
- 按预先规定时长运行，除非触发既定安全停止；监控护栏，不要反复偷看并改决策规则。
- 按预注册计划分析，报告不确定性和实际效应，谨慎查看诊断，并记录上线、迭代、停止或复测及理由。
先准备
猫会向你要的输入。
- 产品决策与假设
- 合格人群与基线指标
- 最小有意义效应与风险限度
- 实验与分析访问
路由器 + 一份 playbook
先路由。只选一份。
Cat Paw 每次任务只加载一份 playbook，不合并多份。先走这个路由器；其余路径是此 workflow 可检查的候选。
- 路由器：
product-pack skills/product/pm-data-analytics/ab-test-analysis/SKILL.mdskills/product/pm-product-discovery/brainstorm-experiments-existing/SKILL.mdskills/product/pm-product-discovery/metrics-dashboard/SKILL.md
界限
界限跟着提示一起走。
- 没有审阅、回滚和安全护栏，不要让用户暴露于重大风险。
- 看到结果后不要改主指标、排除或停止规则，除非把分析标为探索性。
- 解释结果前检查埋点和样本比不匹配。
完成代表
一个可核对的终点。
实验遵循书面分析计划，通过埋点与随机化检查，达到计划停止条件或安全停止，并产出含效应估计、不确定性、护栏和下一步的决策备忘。
来源
这个流程从哪来。
- wingify.com/ab-testing/
- www.microsoft.com/en-us/research/group/experimentation-platform-exp/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
- medium.com/beyond-the-build/the-mechanics-of-a-b-testing-and-experimentation-for-product-professionals-2dd92ad8b5c6
来源确立 workflow 的模式。如有 Reddit 或社区帖子，视为实务轶事，不是普遍事实。
