事件经过
Supply Chain Dive于2023年9月1日报道称,诺福克南方铁路公司预计需要数周时间才能消化此前一周早些时候服务中断导致运营停摆后积压的列车。该铁路公司确认,此次中断并非网络安全事件,而是供应商软件中的错误所致。
该铁路公司在声明中表示:“在我们的供应商执行例行维护程序期间,其软件中的一个缺陷造成了错误,导致我们的主数据存储系统和恢复数据存储系统均无响应。”并补充说,这进而影响了其核心运营系统。
系统已恢复,服务于周一晚间恢复,诺福克南方铁路公司正在处理积压,预计将在未来几周内完全恢复其网络。该铁路公司表示,正与供应商密切合作,采取措施防止再次发生,并寻找机会使诺福克南方铁路公司更具韧性。
代价
核心运营系统停止运行;服务中断,直到周一晚间才恢复,该铁路公司表示完全消化积压可能需要数周时间。
原因
主存储和恢复存储存在相同的故障模式。
例行维护具有足够深的写入权限,足以破坏两者。
铁路公司的调度依赖于不能停摆的核心运营系统。
铁路网络上的积压会不断累积:列车恢复的速度慢于系统。
教训
一个可能被与主系统相同的缺陷杀死的恢复系统并非冗余——维护访问权限需要与生产环境相同的隔离。
后续
该铁路公司表示正与供应商合作加强系统并确定韧性改进措施;声明中未量化财务影响。
从这里,追溯依据
参考来源
- Norfolk Southern says train backlog recovery may take weeks Supply Chain Dive · supplychaindive.com ·