ベンダーのソフトウェア更新によりノーフォーク・サザンのネットワークが数週間停止

Supply Chain Diveは2023年9月1日、ノーフォーク・サザンが、その週の初めに運用を停止させたサービス障害の後、列車のバックログを解消するのに数週間を要すると見込んでいると報じた。鉄道会社は、この障害がサイバーセキュリティインシデントではなく、ベンダーソフトウェアのエラーによるものであることを確認した。

「当社のベンダーが実施していた定例のメンテナンス手順の最中に、ベンダーのソフトウェアの欠陥がエラーを引き起こし、当社のプライマリとリカバリの両データストレージシステムが応答不能になりました」と鉄道会社は声明で述べ、これがさらに中核的な運用システムに影響を及ぼしたと付け加えた。

システムは復旧し、月曜日の夜に運行が再開された。ノーフォーク・サザンはバックログの解消を進めており、今後数週間でネットワークを完全に回復させる見込みである。鉄道会社は、再発防止策とノーフォーク・サザンの回復力を高める機会の特定について、ベンダーと緊密に協力していると述べた。

中核的な運用システムが停止し、運行は停止したまま月曜日の夜にようやく再開された。鉄道会社は、バックログの完全な解消には数週間かかる可能性があると述べている。

プライマリとリカバリのストレージが同じ障害モードを共有していた。

定例メンテナンスには、両方を破損させるのに十分な深さの書き込みアクセスがあった。

鉄道の運行指令は、停止することのできない中核的な運用システムに依存している。

鉄道ネットワーク上のバックログは複合的に積み上がる。列車の回復はシステムより遅い。

プライマリと同じ欠陥で停止しうるリカバリシステムは冗長性ではない。メンテナンスのアクセスには本番環境と同じ隔離が必要である。

鉄道会社は、システムの強化と回復力の改善策の特定のためにベンダーと協力していると述べた。声明では金銭的影響は定量化されていない。