Un fallo de refrigeración obligó a la conmutación por error de Wikipedia, y la propia conmutación rompió el DNS en todo el mundo

El 24 de marzo de 2010 falló la refrigeración del centro de datos europeo de Wikimedia y muchos servidores se apagaron por sí solos para proteger su hardware. Como ese sitio servía el tráfico europeo de Wikipedia y los demás proyectos, el equipo de operaciones ejecutó su conmutación por error rápida estándar: cambiar las entradas DNS para que todo el tráfico de usuarios se trasladara al clúster de Florida. Minutos después, el equipo descubrió que el propio mecanismo de conmutación por error estaba roto, y la resolución DNS de todos los sitios de Wikimedia había dejado de funcionar, no solo en Europa, sino en todo el mundo.

La recuperación se topó entonces con un segundo modo de fallo, más silencioso. El equipo esperaba que los resolutores descartaran las respuestas erróneas en el plazo de una hora, el TTL de caché negativa que anunciaba la zona, pero los resolutores de muchos ISP ignoraron esa indicación y almacenaron en caché las consultas fallidas durante más tiempo. La solución provisional fue contundente: cambiar el nombre del registro DNS afectado para que los resolutores tuvieran que buscar un nombre nuevo. Mientras tanto, la pasarela SSL secure.wikimedia.org, desactivada durante la emergencia, se colapsó ante el tráfico que regresaba y permaneció fuera de servicio hasta las 21:32 UTC.

Durante varias horas, la enciclopedia de referencia del mundo fue sencillamente irresoluble, sin ningún flujo de incidencias que seguir; Mashable señaló que Twitter era el único lugar donde se podía seguir. The Wikimedia Signpost registró que el sitio estuvo «fuera de línea a nivel mundial durante varias horas», y el equipo publicó ese mismo día una explicación en el blog técnico, firmada por el ingeniero de infraestructura Mark Bergsma.

Todos los sitios de Wikimedia dejaron de resolverse en todo el mundo durante varias horas, y la caída fue cubierta por CNN, The Telegraph y Mashable mientras los lectores perdían el acceso.

El procedimiento de conmutación por error estaba etiquetado como «rápido estándar», pero su paso de DNS estaba roto cuando se ejecutó de verdad; al parecer, la ruta de recuperación nunca se había probado contra una conmutación real.

Las estimaciones de recuperación suponían que los resolutores de los ISP respetarían el TTL de caché negativa de una hora anunciado; muchos no lo hicieron, lo que convirtió un incidente acotado en uno sin plazo definido.

La pasarela SSL no tenía margen: cuando el tráfico volvió de golpe, secure.wikimedia.org se sobrecargó y cayó, agravando la caída.

El servicio europeo estaba concentrado en una sola instalación, por lo que un único fallo de refrigeración obligó desde el principio a una conmutación de tráfico global.

Una ruta de conmutación por error que nunca se prueba es una esperanza, no un mecanismo. Ensayar los procedimientos de recuperación como simulacros reales y no dar por sentado que las cachés posteriores caducan según lo previsto.

El acceso volvió tras cambiar el nombre del registro DNS y propagarse las consultas nuevas; la pasarela SSL regresó a las 21:32 UTC de ese mismo día. El análisis público del mismo día en el blog técnico de Wikimedia marcó la pauta de la costumbre posterior de la fundación de publicar retrospectivas de incidentes. La trampa de la redundancia persistió: en agosto de 2012, un único corte de fibra seccionó ambos enlaces «redundantes» entre los centros de datos de Ashburn y Tampa y volvió a dejar Wikipedia caída durante otros 63 minutos, y solo entonces consolidó la fundación su backend de servicio en Ashburn.