로저스의 일상적 업그레이드가 19시간 동안 캐나다 네트워크를 마비시켰다 — 911도 함께 끊겼다

2022년 7월 8일 오전 4시 30분경(EDT), 로저스 커뮤니케이션스의 네트워크가 캐나다 전역에서 장애를 일으키기 시작했다. 오전 4시 58분까지 코어 네트워크가 붕괴했다. 1,200만 명이 넘는 고객이 무선 및 유선 서비스—모바일, 가정용 인터넷, 기업 및 기관 회선—를 잃었고, 캐나다에서 관측 가능한 인터넷 연결의 약 4분의 1이 사라졌다. 대부분의 서비스는 15~19시간 이내에 복구되었으나 완전한 복구는 7월 9일 오전 7시까지 걸렸으며, 일부 고객은 며칠 동안 연결되지 못했다.

2024년 7월에 공개된 CRTC가 의뢰한 독립 평가는 장애 원인을 일상적인 변경으로 추적했다. IP 코어의 7단계 업그레이드 중 6단계에서 로저스 직원이 배포 라우터의 구성에서 액세스 제어 목록(Access Control List) 필터를 제거했다. 필터가 사라지자 배포 라우터 하나가 코어로 90만 개가 넘는 경로 광고를 내보냈고—평소 약 1만 개에 비해—코어는 몇 분 만에 붕괴했다. 위험 평가 알고리즘은 다섯 번의 문제 없는 단계 후에 해당 단계를 '낮음' 위험으로 하향 조정했으며, CRTC는 이것이 업계 관행에 위배된다고 밝혔다.

로저스를 구했어야 할 이중화는 독립적이지 않았다. 무선과 유선이 하나의 공통 IP 코어에서 운영되었기 때문에 코어가 실패하자 둘 다 함께 중단되었다. 더욱 심각한 것은 로저스의 관리 네트워크가 바로 그 동일한 코어에서 운영되었다는 점이다. 네트워크 운영 센터의 직원들은 원격 접속을 잃었고, 대체 제공업체로부터의 백업 연결도 없었으며, 실패한 라우터의 오류 로그를 읽을 수도 없었다. 원인을 정확히 파악하는 데 약 14시간이 걸렸다.

이 장애는 경제 전반에 파급되었다. 인터랙 직불 및 e-Transfer가 전국적으로 실패했고, 은행들은 ATM 및 온라인 문제를 보고했으며, 팀 호턴스는 현금만 받았고, 토론토와 오타와 경찰은 일부 발신자가 911에 연결할 수 없었다고 밝혔다. 로저스는 약 1,300만 고객에게 5일분 크레딧으로 약 1억 5,000만 캐나다 달러를 환불할 것으로 추산했으며, 주가는 다음 첫 거래일에 4.61% 하락했다. CRTC는 조사에 착수했고, 이 장애는 로저스의 진행 중인 쇼 인수에 새로운 규제 위험을 더했다.

이 장애로 로저스는 고객 크레딧으로 1억 5,000만 캐나다 달러와 4.61%의 주가 하락을 겪었으며, 인터랙과 911도 중단되었다.

알고리즘이 다섯 번의 문제 없는 단계 후에 코어 업그레이드의 6단계를 '낮음' 위험으로 하향 조정했고—CRTC는 이를 업계 관행 위반이라고 불렀으며—그에 따라 필터가 제거되었다.

과부하 보호 없음: 액세스 제어 목록 필터가 사라지자 배포 라우터 하나가 1만 개용으로 구축된 코어로 90만 개가 넘는 경로를 쏟아냈고, 코어는 몇 분 만에 붕괴했다.

무선과 유선이 하나의 IP 코어를 공유했고, 관리 네트워크가 자신이 관리하는 네트워크 위에서 운영되었다—그래서 로저스 자체 엔지니어들이 약 14시간 동안 장애를 수리할 도구를 잃었다.

네트워크 운영 센터에는 대체 제공업체로부터의 백업 연결이 없었다—서류상으로만 존재하는 이중화는 없는 것과 같다.

일상적인 변경 하나가 국가 네트워크를 마비시켰다. 코어에 과부하 보호가 없었고, 관리 네트워크가 자신이 관리하는 네트워크 위에서 운영되었다. 이중화는 백업이 독립적일 때만 도움이 된다.

CRTC는 2022년 7월 12일 조사에 착수하고 Xona Partners의 독립 평가를 의뢰했으며, 이는 2024년 7월에 공개되었다. 로저스는 네트워크 투자와 무선 및 유선 시스템 분리에 100억 캐나다 달러를 약속했으며—네트워크 분리만으로 2억 6,100만 달러가 들었다. 이 장애는 또한 로저스의 진행 중인 쇼 인수에 규제 위험을 더했으며, 해당 인수는 21개 조건과 함께 2023년 3월에 승인되었다. 로저스는 2026년 중반까지 Xona가 권고한 모든 조치를 완전히 이행했다고 CRTC에 밝혔다.