AOL 1996: 일상적인 유지보수가 세계 최대 온라인 서비스를 19시간 동안 마비시키다

1996년 8월 7일 새벽, AOL 기술자들은 회사가 일상적인 유지보수라고 부른 작업을 위해 컴퓨터 시스템을 셧다운했다. 워싱턴 포스트는 시스템이 내려가면서 평소 AOL의 컴퓨터와 네트워크 파트너인 ANS 사이의 오류를 감지하던 소프트웨어도 함께 꺼졌고, 바로 그 시간대에 ANS에서 오류가 발생했다고 보도했다. 세계 최대 온라인 서비스는 다시 살아나지 못했다.

19시간 동안 America Online은 그야말로 사라졌다. 오류 화면은 사용자에게 1시간 45분 후에 다시 시도하라고 안내했지만, 장애는 그보다 열 배나 오래 지속됐고, 전국 뉴스 방송의 머리기사를 장식했으며, 화성에 생명체가 있을 가능성에 대한 NASA의 발표를 뉴욕타임스 1면에서 밀어냈다. 분석가들은 NPR에 온라인 서비스가 자체 시스템을 감당하지 못할 만큼 너무 빠르게 성장하고 있다고, 그리고 사람들이 의존하는 제공업체들이 장애 경험이 부족하기 때문에 '일을 망친다'고 말했다.

그 배경에 있던 결정들은 지극히 일상적이었고, 바로 그래서 위험했다. AOL의 유지보수는 온라인 업그레이드 경로가 없었기 때문에 서비스 전체를 내리는 것을 의미했다. 모니터링은 같은 시간대에 함께 꺼졌다. 성장 속도가 인프라를 앞질렀다. 그리고 사태가 끝난 후 CEO 스티브 케이스는 매체의 참신함을 이유로 다시 발생하지 않으리라고 보장하지 못했다. 1996년 5월의 놀랍도록 유사한 장애 — AOL 데이터센터의 단일 전력 상 차단, 이를 감지하지 못한 발전기, 방전된 배터리 — 는 단 한 칼럼의 뉴스도 되지 못했기에, 아무것도 바뀌지 않았다.

당시 AOL의 운영 부사장이었던 맷 콘은 훗날 회사가 결국 유지보수를 위해 다운타임이 전혀 필요 없도록 시스템을 재구축하여 원래의 취약점을 조용히 해결했다고 회고했다. 그때쯤 그 블랙아웃은 이미 일반 대중이 뉴스로 경험한 최초의 인터넷 장애 — 충분히 많은 일상이 당신의 서버를 통해 흐르는 순간 신뢰성이 1면의 주제가 된다는 증거 — 로서 역사에 남아 있었다.

세계 최대 온라인 서비스가 19시간 오프라인; 전국 뉴스를 선도하며 NASA의 화성 생명체 발견 보도를 NYT 1면에서 밀어냄

유지보수 절차가 롤링 또는 온라인 업그레이드 기능이 없어 서비스 전체의 완전한 셧다운을 요구했다.

네트워크 결함을 감시하던 소프트웨어가 같은 시간대에 함께 꺼졌기에, ANS 오류는 조기 감지되지 않았다.

초고속 성장이 인프라를 앞질렀고, 동시대인들은 이미 온라인 서비스가 '자체 시스템을 감당하지 못할 만큼 너무 빠르게 성장하고 있다'고 경고했다.

1996년 5월의 거의 동일한 인프라 장애는 전혀 보도되지 않았기에 조직에 공개적으로 아무것도 가르치지 못했다.

경영진의 프레이밍은 해결을 약속하기보다 재발의 기준을 낮추어, 장애를 새로운 매체의 불가피한 비용으로 취급했다.

유지보수 시간대는 장애 리허설이다. AOL은 서비스 전체를 내리는 것을 일상으로 취급했고, 그러기 위해 모니터링을 껐다. 신뢰성 부채는 일상적인 작업이 전국적 규모로 실패할 때까지 숨어 있다.

콘에 따르면 AOL은 유지보수에 더 이상 서비스를 내릴 필요가 없도록 시스템을 재구축하여 블랙아웃을 일으킨 특정 취약점을 해결했다. 회사는 이 장애로 인해 지속적인 상업적 대가를 치르지 않았다 — 계속 성장했고, 당시 회계 문제로 별도의 SEC 조사를 받고 있었으며, 30년 후인 2025년 AOL 브랜드는 Bending Spoons에 15억 달러에 매각되었다. 19시간의 블랙아웃은 핵심 인프라가 유지보수 능력보다 빠르게 성장할 때 무슨 일이 일어나는지를 보여주는 전형적인 사례로 남아 있다.