Rogers 一次例行升級導致加拿大網路癱瘓 19 小時——911 也隨之中斷

2022 年 7 月 8 日東部夏令時間約凌晨 4 時 30 分，Rogers Communications 的網路開始在加拿大各地出現故障。到凌晨 4 時 58 分，核心網路已經崩潰：超過 1,200 萬客戶失去無線和有線服務——行動通訊、家庭網路、企業和機構線路——加拿大可觀測到的網際網路連線約有四分之一消失。大部分服務在 15 至 19 小時內恢復，但完全恢復直到 7 月 9 日上午 7 時才完成，部分客戶數天仍未恢復連線。

CRTC 委託的獨立評估於 2024 年 7 月發布，將故障追溯到一次例行變更。在對其 IP 核心進行七階段升級的第六階段期間，Rogers 員工從分發路由器的配置中移除了存取控制清單（Access Control List）過濾器。過濾器移除後，一台分發路由器向核心發布了超過 90 萬條路由通告——而正常情況下約為 1 萬條——核心在數分鐘內崩潰。一個風險評估演算法在五個階段順利完成後將該階段降級為「低」風險，CRTC 表示這違反業界規範。

本應拯救 Rogers 的備援並不獨立。無線和有線網路運行在同一個共用 IP 核心上，因此當核心故障時，兩者一同癱瘓。更糟的是，Rogers 的管理網路也運行在同一個核心上：網路營運中心的工作人員失去遠端存取權限，沒有來自替代供應商的備用連線，也無法讀取故障路由器的錯誤日誌——花了約 14 小時才確定原因。

這次中斷在經濟中引發連鎖反應：Interac 扣款和 e-Transfer 在全國範圍內失效，銀行報告 ATM 和線上問題，Tim Hortons 只接受現金，多倫多和渥太華警方表示部分來電者無法接通 911。Rogers 估計將退還約 1.5 億加元——為其約 1,300 萬客戶提供五天信用額度——股價在事後首個交易日下跌 4.61%。CRTC 展開審查，此次中斷也為 Rogers 待完成的 Shaw 收購案注入了新的監管風險。

此次中斷使 Rogers 付出 1.5 億加元的客戶信用額度和 4.61% 的股價跌幅，同時 Interac 和 911 也隨之中斷。

一個演算法在五個階段順利完成後將核心升級第六階段降級為「低」風險——CRTC 稱這違反業界規範，過濾器正是在此基礎上被移除的。

沒有過載保護：存取控制清單過濾器移除後，一台分發路由器向一個為 1 萬條路由而建的核心湧入超過 90 萬條路由，核心在數分鐘內崩潰。

無線和有線網路共用一個 IP 核心，而管理網路又依賴於它所管理的網路——因此 Rogers 自己的工程師失去了修復中斷的工具約 14 小時。

網路營運中心沒有來自替代供應商的備用連線——只存在於紙面上的備援等同於沒有。

一次例行變更就癱瘓了一個全國性網路：核心沒有過載保護，管理網路又依賴於它所管理的網路。備援只有在備份獨立時才有幫助。

CRTC 於 2022 年 7 月 12 日展開審查，並委託 Xona Partners 進行獨立評估，於 2024 年 7 月發布。Rogers 承諾投入 100 億加元用於網路投資，並將其無線和有線系統分離——僅網路拆分就花費了 2.61 億加元。此次中斷也為 Rogers 待完成的 Shaw 收購案注入了監管風險，該收購案於 2023 年 3 月以 21 項條件獲得批准。Rogers 向 CRTC 表示，已在 2026 年中期前全面實施 Xona 建議的每一項措施。