流水线故障记录
记录人:周敏
编号:PIPE-0000-003
时间:0000-00-00 11:06 至 11:31
影响:合并暂停,生产无变更
结论:凭证已更新,流水线恢复
一、结论
9月21日 11:06 至 11:31,行政协同平台的打包阶段失败,原因是镜像仓库凭证于当天到期。编译和测试都通过,包没有产出,所以没有部署发生。生产仍是 v1.2.4,总部预订和请假正常。11:20 周敏换上新凭证,11:31 主干流水线重新通过。故障等级按内部构建中断记录,不作为生产事故。
二、现象
- 11:06 feature/supply-hold 的打包报凭证被拒绝,刘洋第一次重试仍失败。
- 11:10 main 的定时构建在同一阶段失败,单元测试 1,240 条此前已通过。
- 预发和生产实例的健康检查保持成功,错误率 0.02%。
- 合并按钮因为流水线失败而不可用,PR-0184 停在评审之后的修复分支上。
三、时间线
四、原因
凭证按 90 天签发,上一张在 6月23日写入,到期日 9月21日写在周敏的日历上,提醒时间设成了当天 14:00,晚于上午的构建。仓库侧从 11:00 起拒绝旧凭证。应用运行不读取这张凭证,所以生产不受影响。失败日志里只有「认证失败」,没有打印凭证内容。
五、修复与预防
- 新凭证有效期到 12月21日,提醒改到到期前 14 天的 10:00,由周敏和张伟同时收到。
- 打包连续失败 2 次时,给周敏发消息,不再只显示在网页上。
- 刘洋于 11:40 重跑 feature/supply-hold,打包通过。合并仍要等代码评审的两处修改,不因本次故障提前合并。
陈静把提醒提前写进月度检查。下一次凭证检查日是 12月7日。11:31 通过的那次主干构建用时 19 分钟,打包阶段 3 分钟,与凭证更新前的失败次数相比,重跑只增加了 1 次。