1996年8月7日の未明、AOLの技術者たちは社が定期メンテナンスと呼ぶ作業のためにコンピューターシステムを停止した。Washington Post紙によれば、システムが停止していたため、通常はAOLのコンピューターとネットワークパートナーであるANSとの間の障害を検知するソフトウェアも停止しており、まさにその時間帯にANSで障害が発生した。世界最大のオンラインサービスは復旧しなかった。

19時間にわたり、America Onlineは単に消えていた。エラー画面はユーザーに「1時間45分後に再試行してください」と伝えていたが、障害はその10倍の長さに及び、全国のニュース番組のトップを飾り、火星に生命が存在する可能性があるというNASAの発表をNew York Times紙の一面から押しのけた。アナリストたちはNPRに対し、オンラインサービスは自社のシステムに対してあまりに速く成長しており、人々が頼るプロバイダーは障害の経験不足から「物事を台無しにする」と語った。

その背景にあった判断はありふれたものであり、だからこそ危険だった。AOLにおけるメンテナンスとは、オンラインでのアップグレード手段がなかったため、サービス全体を停止することを意味していた。監視は同じ時間帯の一部として切られていた。成長はインフラを上回っていた。そして終わった後、CEOのSteve Caseはこの媒体の新しさを理由に、再発しないことを保証できなかった。1996年5月の驚くほど類似した障害——AOLのデータセンターでの単一の電力相の遮断、気づくことのなかった発電機、死んだバッテリー——はニュースの一列たりとも報じられなかったため、何も変わらなかった。

当時AOLの運用担当副社長だったMatt Kornは後に、同社は最終的にシステムを再構築し、メンテナンスのためにダウンタイムを全く必要としないようにしたと振り返り、元の弱点を静かに修正した。その頃には、この停電は一般大衆がニュースとして経験した最初のインターネット障害としてすでに歴史を作っていた——十分に多くの日常生活があなたのサーバーを通じて動くようになった瞬間に、信頼性が一面の話題になることの証拠である。

世界最大のオンラインサービスが19時間オフライン;全国ニュースのトップを飾り、NASAの火星生命の発見をNYTの一面から押しのけた

メンテナンス手順が、ローリングやオンラインでのアップグレード機能がなかったため、サービス全体の完全停止を必要としていた。

ネットワーク障害を監視するソフトウェアが同じ時間帯に電源を切られていたため、ANSの障害は早期検知に遭わなかった。

超成長がインフラを上回っていた;同時代の人々はすでに、オンラインサービスは「自社のシステムに対してあまりに速く成長している」と警告していた。

1996年5月のほぼ同一のインフラ障害は完全に未報道だったため、組織に公に何も教えなかった。

経営陣の位置づけは修正へのコミットメントではなく再発へのハードルを下げ、障害を新しい媒体の避けられないコストとして扱った。

メンテナンス時間帯は障害のリハーサルである。AOLはサービス全体を停止することを日常として扱い、そうするために監視を切った。信頼性の負債は、日常が国家規模で失敗するまで隠れる。

Kornによれば、AOLはシステムを再構築し、メンテナンスにサービスの停止を必要としないようにし、停電を引き起こした特定の弱点を解消した。同社はこの障害に対して持続的な商業的代償を払わなかった——成長を続け、当時は会計をめぐり別途SECの調査を受けていた、そして30年後、AOLブランドは2025年にBending Spoonsに15億ドルで売却された。19時間の停電は、重要なインフラがその維持能力よりも速く成長したときに何が起きるかのテンプレート事例であり続けている。

出典をたどる

出典

  1. 'Routine Maintenance' Turned AOL Off, Firm Says The Washington Post · washingtonpost.com ·
  2. AOL was down (1996) ngrok Blog · ngrok.com ·
  3. 1996 Flashback: AOL Goes Down For 19 Hours CBS News · cbsnews.com