OVHcloud: un incendio dejó fuera de línea dos centros de datos de Estrasburgo y 3,6 millones de sitios web

A las 00:47 del 10 de marzo de 2021 se declaró un incendio en una sala de la nave SBG2 del campus de centros de datos de OVHcloud en Estrasburgo, en una zona industrial a orillas del Rin. Los bomberos no pudieron controlar las llamas: la SBG2 quedó completamente destruida a las 04:09, parte de la SBG1 corrió la misma suerte y se cortó la electricidad en todo el recinto, de modo que la SBG3 y la SBG4, intactas por el fuego, también quedaron a oscuras. No hubo heridos.

La caída fue enorme porque OVHcloud es enorme: el mayor proveedor de alojamiento de Europa y el tercero del mundo. Netcraft contabilizó 3,6 millones de sitios web repartidos en 464.000 dominios distintos fuera de línea, entre ellos 184.000 sitios franceses en 59.600 dominios .fr. Las víctimas abarcaron desde el servidor de ajedrez Lichess, el juego Rust y el exchange de criptomonedas Deribit hasta el Centre Pompidou, la Agencia Espacial Europea y el club de fútbol Villarreal; y los clientes que no tenían copia de sus datos fuera de Estrasburgo descubrieron que el consejo de recuperación ante desastres estaba vacío.

La respuesta se prolongó durante meses. OVH prometió 10.000 servidores nuevos en tres o cuatro semanas e infraestructura de reemplazo en sus sedes de Roubaix y Gravelines; más de 100 bomberos, incluida una embarcación de bombeo en el Rin, tardaron más de seis horas en sofocar el fuego. Limpiar un rack llevaba siete horas. En abril, el director financiero calificó la restauración de «una auténtica pesadilla» y Klaba, de «un enorme Tetris». OVH dejó de facturar los servicios afectados y entregó la causa a la policía y a las aseguradoras: el UPS7 había recibido mantenimiento de su proveedor esa misma mañana, y tanto el UPS7 como el UPS8 estaban ardiendo cuando llegaron los bomberos.

La magnitud de los daños selló el destino de la SBG1: quedó tan dañada que nunca se recuperaría. Sus racks se limpiaron y se trasladaron a las salas supervivientes SBG3 y SBG4 o a Roubaix y Gravelines: todo un centro de datos dado de baja. Un incendio en un solo edificio le costó a OVHcloud dos salas, meses de recuperación «de auténtica pesadilla» y el descubrimiento de que un campus es tan seguro como su edificio menos redundante.

El incendio destruyó la SBG2, obligó a abandonar la SBG1 y dejó fuera de línea 3,6 millones de sitios web.

Un campus, un interruptor: cuatro centros de datos compartían una sola sede y un corte de electricidad preventivo los dejó fuera de línea a todos; la SBG3 y la SBG4 no ardieron, pero aun así quedaron a oscuras.

El desencadenante sospechoso era rutinario: el UPS7 había recibido mantenimiento de su proveedor esa misma mañana, y tanto el UPS7 como el UPS8 estaban en llamas cuando llegaron los bomberos: mantenimiento sobre un único punto de fallo.

El producto daba por hecho que el cliente tenía un plan: la primera instrucción de OVH fue activar los planes de recuperación ante desastres; para los clientes con datos solo en Estrasburgo, esa última línea de defensa estaba vacía.

La recuperación se convirtió en la segunda factura: racks limpiados a mano, siete horas cada uno, bajo un confinamiento por COVID, con el director financiero calificándolo todavía de «auténtica pesadilla» un mes después.

Un incendio dejó fuera de línea todo un campus porque todo estaba en un mismo lugar. El SAI había recibido mantenimiento esa misma mañana y, para los clientes sin copia de seguridad, la nube resultó ser un edificio.