事件经过
2023年10月3日,加拿大国家铁路公司(CN)发生全网系统故障,导致GO Transit所有走廊的服务停运,并关闭了多伦多的UP Express。CN告诉员工,此次中断“归因于一次内部系统升级,影响了CN连接互联网的能力”。GO和Via列车均需要连接CN系统的互联网才能通过联合车站运行。
直到当晚,列车才逐步恢复运行。此前CN与GO合作,临时接管列车调度,使GO和Via服务得以部分恢复。一名Via乘客从伦敦到多伦多的行程于上午10:50出发,原定下午1:10到达,实际下午4:20才抵达——晚了三个多小时,错过了与安大略省议员和省长的会面。此次停运还导致网约车应用出现高峰定价,并促使TTC增加地铁服务。
CN表示其自有列车未出现延误,数据未受影响,且没有迹象表明存在网络安全问题。其网站和客户门户本身在下午部分时段也处于离线状态。CN对影响表示歉意,称原因仍在调查中,并承诺与GO Transit共同进行审查。
代价
2023年10月3日大部分时间,所有GO走廊和UP Express停运;Via列车晚点数小时;一趟行程多花了3个多小时;直到傍晚才恢复
原因
CN进行了一次内部升级,其故障模式是全网系统失去互联网连接。
GO Transit和Via依赖与CN系统的实时连接进行调度,因此CN的故障导致它们的列车在多伦多全线停运。
此次故障还导致CN自己的网站和客户门户在当天部分时段离线。
恢复运行需要临时将GO的调度移交给CN,之后才能恢复正常运营。
教训
当一家铁路公司的系统承载着其他所有公司的调度时,一次可能切断连接的升级会让整个地区随之瘫痪——故障转移需要在维护之前测试,而不是在维护期间测试。
后续
到2023年10月4日上午,服务以“最小干扰”恢复。CN表示将与GO合作审查此次事件,并制定流程以避免进一步中断;截至报道时,尚未公布根本原因。
从这里,追溯依据