事故报告

报告人：陈静

编号：INC-0000-007

级别：P2

发生与恢复：0000-00-00 10:12 至 10:47

状态：已恢复，改进进行中

一、事故概要

9月18日 10:12 至 10:47，行政协同平台的企业微信通知停滞。期间提交的请假和预订都已落库，但主管收到待办的时间推迟，最久 35 分钟。直接原因是访客「到达提醒」同步上传照片，把通知服务的 32 个线程全部占住。10:47 周敏关闭到达提醒后，积压在 6 分钟内发送完毕。事故等级 P2。单据没有丢失，也没有出现两个人订到同一时段。

二、影响范围

延迟送达的审批待办 23 条，其中请假 18 条、预订 5 条。主管最晚在 10:53 前收齐。
访客签到本身成功 40 人，是一场 10:00 开始的入职培训，照片都已保存在访客单附件中。
员工侧提交成功率保持 99.9%。客服和行政共接到 7 次询问，周敏用统一口径回复：单据有效，待办稍后到达。
用品申领和导出没有受到影响，这两条链路不经过通知线程池。

三、时间线

四、原因

直接原因

到达提醒在访客签到接口里同步调用通知服务，并上传培训采集的照片。单张照片约 1.5 MB，企业微信接口偶发 8 秒以上才返回。10:12 起 40 人在 4 分钟内连续签到，32 个线程全部阻塞，请假和预订的文本待办排在同一队列后面。

促成原因

通知线程池同时服务文本待办和照片上传，没有按消息类型分开。发布到达提醒时，检查项只验证了单人签到，没有按 40 人同时段签到演练。告警阈值是排队 200 条持续 3 分钟，培训开始后 4 分钟才响，值班人介入时线程已经占满。

五、处置过程

刘洋在 10:28 把到达提醒改为只记访客单、不立即发图，签到接口恢复到 200 毫秒以内。周敏在 10:47 关闭生产开关，文本队列以约每分钟 80 条的速度消化。王芳抽查 23 条延迟待办，单据状态与主管最终收到的内容一致，其中 16 条在延迟期间已被主管从待办列表直接打开并审批。照片仍留在附件里，行政可以在访客单查看，不需要重发。

六、改进措施

张伟要求在异步改造完成前，生产保持到达提醒关闭。各地若需要照片，先存在访客单，由行政在培训结束后批量查看。