DevOps
协调生产环境事故响应
协调处理事故:安全恢复服务、让干系人知情,并留下有证据的后续记录。
流程
按这个顺序做。
- 确认影响,按适当严重性宣布事件,打开事件频道和记录,并指定事件指挥官。
- 分配运维、沟通和记录角色;说明当前用户影响、已知事实和下次更新时间。
- 用最低风险缓解稳定系统,如回滚、流量切换、功能关闭或扩容,并尽可能保全证据。
- 跟踪假设、行动、责任人、时间戳和结果;用面向用户的信号核验恢复,而不是单一内部指标。
- 沟通解决,并在约定观察窗口内监控复发后再关闭主动响应。
- 构建无责时间线,识别促成条件,指定带责任人的有界后续行动,并安排复盘。
先准备
猫会向你要的输入。
- 告警或影响报告
- 服务手册与可观测性访问
- 升级与沟通联系人
- 授权缓解边界
路由器 + 一份 playbook
先路由。只选一份。
Cat Paw 每次任务只加载一份 playbook,不合并多份。先走这个路由器;其余路径是此 workflow 可检查的候选。
- 路由器:
engineering-pack skills/engineering/addyosmani/observability-and-instrumentation/SKILL.mdskills/engineering/mattpocock/triage/SKILL.md
界限
界限跟着提示一起走。
- 主动影响期间,优先恢复安全服务,而不是证明根因。
- 破坏性或不可逆缓解须有明确授权。
- 客户沟通保持事实;区分已确认事实与假设,避免归咎。
完成代表
一个可核对的终点。
面向用户的服务在约定窗口内经核验稳定,干系人已收到关闭通知,事件时间线完整,后续行动有责任人和到期日。
来源
这个流程从哪来。
- sre.google/resources/practices-and-processes/incident-management-guide/
- sre.google/sre-book/managing-incidents/
- sre.google/workbook/postmortem-culture/
来源确立 workflow 的模式。如有 Reddit 或社区帖子,视为实务轶事,不是普遍事实。