ロジャースの定例アップグレードがカナダのネットワークを19時間停止させ、911も巻き添えに

2022年7月8日午前4時30分（EDT）ごろ、ロジャース・コミュニケーションズのネットワークがカナダ全土で障害を起こし始めた。午前4時58分までにコアネットワークがクラッシュし、1,200万人を超える顧客が無線および固定回線サービス——携帯、家庭用インターネット、企業・機関回線——を失い、カナダで観測可能なインターネット接続の約4分の1が消失した。ほとんどのサービスは15〜19時間以内に復旧したが、完全復旧は7月9日午前7時までかかり、一部の顧客は数日間つながらないままだった。

CRTCが委託し2024年7月に公表された独立評価は、障害を定例の変更に帰した。IPコアの7段階アップグレードの第6段階で、ロジャースのスタッフはディストリビューションルーターの設定からアクセスコントロールリスト（ACL）フィルターを削除した。フィルターがなくなったことで、1台のディストリビューションルーターが通常の約1万件に対して90万件を超える経路広告をコアに流し、コアは数分以内にクラッシュした。リスク評価アルゴリズムは5段階のクリーンな実施を経て当該段階を「低」リスクに格下げしており、CRTCはこれを業界の慣行に反すると述べた。

ロジャースを救うはずだった冗長性は独立したものではなかった。無線と固定回線は1つの共通IPコア上で稼働していたため、コアが障害を起こすと両方が同時に停止した。さらに悪いことに、ロジャースの管理ネットワークも同じコア上で稼働していた。ネットワーク運用センターのスタッフは遠隔アクセスを失い、代替プロバイダーからのバックアップ接続もなく、障害を起こしたルーターのエラーログを読むこともできず、原因の特定には約14時間を要した。

障害は経済に波及した。Interacのデビットとe-Transferは全国で失敗し、銀行はATMとオンラインの問題を報告し、Tim Hortonsは現金のみの対応となり、トロントとオタワの警察は一部の発信者が911につながらなかったと述べた。ロジャースは約1億5,000万カナダドル——約1,300万人の顧客に対する5日分の料金クレジット——を返金すると見積もり、株価は翌取引日に4.61%下落した。CRTCは調査を開始し、この障害はロジャースによる係属中のShaw買収に新たな規制リスクをもたらした。

この障害はロジャースに顧客クレジットとして1億5,000万カナダドルと4.61%の株価下落という犠牲を払わせ、その一方でInteracと911は停止した。

アルゴリズムが5段階のクリーンな実施を経てコアアップグレードの第6段階を「低」リスクに格下げし、CRTCはそれを業界の慣行への違反と呼び、その根拠に基づいてフィルターが削除された。

過負荷保護なし：アクセスコントロールリストのフィルターがなくなったことで、1台のディストリビューションルーターが1万件向けに構築されたコアに90万件を超える経路を流し込み、コアは数分以内にクラッシュした。

無線と固定回線が1つのIPコアを共有し、管理ネットワークが管理対象のネットワーク上に乗っていた——そのためロジャース自身の技術者は約14時間にわたり障害を修正する手段を失った。

ネットワーク運用センターには代替プロバイダーからのバックアップ接続がなかった——紙の上にしか存在しない冗長性は、ないのと同じである。

1つの定例の変更が国のネットワークを停止させた。コアに過負荷保護がなく、管理ネットワークが管理対象のネットワーク上に乗っていた。冗長性はバックアップが独立している場合にのみ役立つ。

CRTCは2022年7月12日に調査を開始し、Xona Partnersによる独立評価を委託し、それは2024年7月に公表された。ロジャースはネットワーク投資と無線・固定回線システムの分離に100億カナダドルを約束し、ネットワーク分離だけで2億6,100万ドルを要した。この障害はまた、ロジャースによる係属中のShaw買収に規制リスクをもたらし、同買収は2023年3月に21の条件付きで承認された。ロジャースはXonaが勧告したすべての措置を2026年半ばまでに完全に実施したとCRTCに伝えた。