El 4 de octubre de 2021, a las 15:39 UTC, Facebook y todo lo que dependía de él —Instagram, WhatsApp, Messenger, Oculus— se apagó en todo el mundo. Durante las siguientes seis o siete horas, miles de millones de personas simplemente no pudieron acceder a esos servicios. La causa no fue un ciberataque. Durante un mantenimiento rutinario, un ingeniero ejecutó un comando destinado a evaluar la capacidad de la red troncal global de Facebook. El comando falló y desconectó accidentalmente todos los centros de datos de Facebook de esa red troncal a la vez.
El diseño convirtió un comando defectuoso en una catástrofe. Facebook operaba sus propios servidores DNS, y esos servidores estaban configurados para retirar sus rutas BGP —las entradas del directorio de direcciones de internet— si perdían contacto con los centros de datos. Así, cuando la red troncal cayó, los servidores DNS comunicaron obedientemente al resto de internet que las direcciones de Facebook ya no existían. Facebook se había, en efecto, borrado a sí mismo de internet, y la retirada se propagó de forma tan completa que incluso las propias herramientas de Facebook no podían alcanzarlo fácilmente para repararlo.
El bloqueo fue casi cómicamente total. Los sistemas internos de Facebook también cayeron: los empleados no podían enviar correo externo, acceder al directorio corporativo ni —en un detalle que acaparó titulares— abrir los edificios de oficinas y las salas de conferencias con sus tarjetas de seguridad, que dependían de la misma red. La recuperación requirió que un equipo accediera físicamente al centro de datos de Santa Clara y reiniciara manualmente los servidores. Los servicios volvieron gradualmente entre aproximadamente las 21:50 y las 22:50 UTC. Las acciones de Facebook cayeron casi un 5 % ese día, y la riqueza personal de Mark Zuckerberg disminuyó en más de 6000 millones de dólares.
Los servidores DNS retiraban automáticamente las rutas al perder el contacto, por lo que el fallo se propagó en cascada; la recuperación necesitó acceso físico, con un coste de 6 horas y más de 60 millones de dólares.
Un único comando de mantenimiento, ejecutado sin las salvaguardas adecuadas, desconectó a la vez todos los centros de datos de Facebook de su red troncal.
Los servidores DNS estaban diseñados para retirar sus rutas BGP cuando perdían los centros de datos, de modo que el fallo borró automáticamente a Facebook de las tablas de enrutamiento de internet.
Las herramientas de recuperación y el acceso (incluidas las tarjetas físicas de los edificios) dependían de la misma red que había fallado, lo que dejó a los ingenieros sin acceso para aplicar la solución.
No existía una vía fuera de banda para llegar a los sistemas y revertir el cambio con rapidez.
Construye tu vía de recuperación de modo que no dependa de lo que acaba de fallar. Cuando tu DNS, tu autenticación y las tarjetas de acceso a las puertas funcionan todos sobre la red que acabas de tumbar, te has dejado fuera.
El equipo de ingeniería de Facebook publicó al día siguiente una explicación detallada, y la empresa se disculpó. La caída —la peor desde 2008— costó unos 60 millones de dólares o más en ingresos publicitarios y restó miles de millones a su valor de mercado, y llevó brevemente a los usuarios a plataformas rivales. Se convirtió en un caso de manual en ingeniería de redes sobre los peligros de los puntos únicos de fallo, de los sistemas de recuperación que dependen de los sistemas que deben recuperar y de cómo un solo comando sin protección puede tumbar un servicio usado por un tercio de la humanidad.
CONSULTA LAS PRUEBAS