熔断规则
编写人:刘洋
批准人:张伟
系统:行政协同平台
日期:0000-00-00
状态:三条下游已按本规则配置
一、规则目的
行政协同平台调用统一账号、企业微信和对象存储时,对方连续失败会占用本系统线程。失败达到阈值后,在设定时长内改走备用动作,时长结束后先放行少量请求作探测。总部 420 人的单据在这三次调用返回之前已经保存。统一账号影响新登录,企业微信影响待办送达,对象存储目前用于预发导出。
二、下游规则
企业微信与通知降级共用同一组失败计数,两处阈值保持一致。对象存储的生产开关仍关闭,本规则先在预发生效。9月23日在预发暂时移除存储地址 30 秒,导出任务变为失败,地址恢复后再次发起得到文件。
三、值班处置
- 熔断打开后 1 分钟内在值班群写明下游名称和打开时间。
- 统一账号熔断超过 10 分钟,升级张伟,并请周敏看账号服务的状态页。
- 企业微信熔断期间,文本待办积压按 50 条关注,照片类消息保持关闭。
- 对象存储熔断只影响导出任务,预订和请假继续办理。
四、核对记录
陈静于 9月24日导出三台配置,生产和预发的失败次数、时长与本表一致。9 月生产上统一账号熔断 0 次,企业微信熔断 0 次。预发对象存储熔断 1 次,即 9月23日移除存储地址的试验,2 分钟后自动恢复。调整阈值时先填写变更单,由周敏录入、刘洋复核,30 秒内生效。9 月生产熔断次数为 0,值班群没有对应告警。预发那一次从打开到关闭用了 2 分钟,导出任务失败 1 个,重试后成功。刘洋把时间线留在预发记录里。生产与预发的次数阈值相同。对象存储的生产开关仍关闭,生产尚未触发该项备用动作。