Una actualización de rutina en Rogers dejó sin red a Canadá durante 19 horas, y con ella cayó el 911

El 8 de julio de 2022, hacia las 4:30 a. m. EDT, la red de Rogers Communications comenzó a fallar en todo Canadá. A las 4:58 a. m. la red troncal ya se había caído: más de 12 millones de clientes perdieron el servicio inalámbrico y el fijo —móvil, internet doméstico, líneas corporativas e institucionales— y desapareció alrededor de una cuarta parte de la conectividad de internet observable en Canadá. La mayoría de los servicios se restablecieron en un plazo de 15 a 19 horas, pero la restauración completa no llegó hasta las 7:00 a. m. del 9 de julio, y algunos clientes permanecieron sin conexión durante días.

La evaluación independiente que encargó el CRTC, publicada en julio de 2024, atribuyó el fallo a un cambio de rutina. Durante la fase seis de una actualización de siete fases de su núcleo IP, el personal de Rogers eliminó el filtro de lista de control de acceso (Access Control List) de la configuración de los routers de distribución. Al desaparecer el filtro, un router de distribución emitió más de 900.000 anuncios de rutas hacia el núcleo —frente a unos 10.000 en condiciones normales— y el núcleo se cayó en cuestión de minutos. Un algoritmo de evaluación de riesgos rebajó la fase a riesgo «Bajo» tras cinco fases sin incidentes, lo que, según el CRTC, contraviene las normas del sector.

La redundancia que debería haber salvado a Rogers no era independiente. Lo inalámbrico y lo fijo funcionaban sobre un mismo núcleo IP común, de modo que, cuando el núcleo falló, ambos cayeron a la vez. Peor aún, la red de gestión de Rogers funcionaba sobre ese mismo núcleo: el personal del centro de operaciones de red perdió el acceso remoto, no disponía de conectividad de respaldo de otro proveedor y no podía leer los registros de errores de los routers caídos; hizo falta cerca de 14 horas para identificar la causa.

La caída se propagó por la economía: el débito y las e-Transfer de Interac fallaron en todo el país, los bancos reportaron problemas con cajeros automáticos y servicios en línea, Tim Hortons pasó a aceptar solo efectivo, y la policía de Toronto y Ottawa indicó que algunos llamantes no pudieron comunicarse con el 911. Rogers calculó que reembolsaría unos 150 millones de dólares canadienses —cinco días de crédito para sus aproximadamente 13 millones de clientes— y sus acciones cayeron un 4,61 % el primer día de cotización posterior. El CRTC abrió una investigación, y la caída añadió un nuevo riesgo regulatorio a la adquisición pendiente de Shaw por parte de Rogers.

La caída le costó a Rogers 150 millones de dólares canadienses en créditos a clientes y una caída bursátil del 4,61 %, mientras Interac y el 911 quedaron fuera de servicio.

Un algoritmo rebajó la fase seis de la actualización del núcleo a riesgo «Bajo» tras cinco fases sin incidentes; el CRTC calificó eso como una contravención de las normas del sector, y sobre esa base se eliminó el filtro.

Sin protección contra sobrecarga: al desaparecer el filtro de lista de control de acceso, un router de distribución inundó con más de 900.000 rutas un núcleo dimensionado para 10.000, y el núcleo se cayó en cuestión de minutos.

Lo inalámbrico y lo fijo compartían un mismo núcleo IP, y la red de gestión viajaba sobre la red que gestionaba, de modo que los propios ingenieros de Rogers perdieron las herramientas para reparar la caída durante unas 14 horas.

El centro de operaciones de red no tenía conectividad de respaldo de otro proveedor: una redundancia que solo existe en el papel equivale a ninguna.

Un solo cambio de rutina derribó una red nacional: sin protección contra sobrecarga en el núcleo, y con una red de gestión que viajaba sobre la red que gestionaba. La redundancia solo sirve cuando el respaldo es independiente.

El CRTC abrió una investigación el 12 de julio de 2022 y encargó una evaluación independiente a Xona Partners, publicada en julio de 2024. Rogers se comprometió a invertir 10.000 millones de dólares canadienses en la red y a separar sus sistemas inalámbricos y fijos; solo la separación de la red costó 261 millones de dólares. La caída también añadió riesgo regulatorio a la adquisición pendiente de Shaw por parte de Rogers, que se aprobó en marzo de 2023 con 21 condiciones. Rogers comunicó al CRTC que había implementado por completo todas las medidas recomendadas por Xona para mediados de 2026.