适用场景

演练的目的不是「证明系统很强」，而是找出预案里没写的坑。所以要先做桌面推演找出流程问题，再做真实注入验证技术手段，最后一定要记录并闭环改进项。

配置步骤（生产演练的安全边界）

# 生产演练前置条件
1) 变更审批通过，含范围与时间窗口
2) 业务方同意，并在演练期间有业务验证人
3) 备份与快照已就绪，回滚命令已准备（复制粘贴即可执行）
4) 监控看板已打开，相关人可见
5) 有明确的「喊停」口令与解除流程

# 安全措施
- 单点注入：一次只注入一处，避免叠加
- 时长上限：单次注入不超过 5-10 分钟
- 白名单：注入仅作用于指定实例/端口
- 流量兜底：确认备用路径或降级方案可用

关键参数与建议

  • 分级：桌面推演 → 单组件注入 → 全链路演练，逐级提升风险
  • 实验设计：明确假设（预期行为）、注入内容、观察指标、终止条件
  • 影响面控制：先在测试/预发环境，生产演练要选低峰并设爆炸半径
  • 终止条件：错误率或时延超阈值立即停止注入（kill switch）
  • 参与角色：指挥、执行、观察、业务验证，四方齐全
  • 观察项：告警是否触发、预案是否可执行、切换是否在规定时间内完成
  • 复盘：时间线 + 问题清单 + 改进项（负责人与时间）
  • 常态化：每季度至少一次单组件注入，每年一次全链路

容易踩的坑

  • 在业务高峰做演练，被业务方投诉
  • 演练与发布窗口冲突，出问题分不清是谁导致
  • 回滚命令没准备好，现场临时查文档
  • 没有人敢喊停，问题扩大
  • 演练范围超出审批范围，事后无法解释
  • 演练后的残留配置（限流、熔断半开）没有清理

验证与巡检

# 生产演练检查
1) 审批单据齐全（范围/窗口/责任人）
2) 回滚命令已实测可用
3) 监控可见，喊停机制确认
4) 演练后残留配置已清理并核对
  • 巡检：审批记录、回滚实测记录、残留配置检查、业务方反馈

小结

故障演练验收：告警在规定时间内触发、预案步骤可执行、RTO 达标，且产出的改进项在下一次演练前全部闭环。

> 说明：文中命令为通用写法，不同型号/版本可能略有差异，落地前请对照设备实际版本的官方文档；带外管理与安全设备变更建议先在测试设备验证。