1996 年 8 月 7 日黎明前,AOL 的技術人員關閉了其電腦系統,進行公司所稱的例行維護。《華盛頓郵報》報導,系統停機期間,原本負責偵測 AOL 電腦與其網路合作夥伴 ANS 之間故障的軟體也一併停擺——而故障恰好就在這段期間發生於 ANS。全球最大的線上服務就此未能恢復。

在 19 小時內,美國線上完全消失。錯誤畫面告訴使用者一小時四十五分鐘後再試;實際中斷時間是這個數字的十倍,登上全國新聞頭條,並把 NASA 關於火星可能存在生命的宣布擠下《紐約時報》頭版。分析師告訴 NPR,線上服務的成長速度已超出其自身系統所能負荷——並表示人們所依賴的供應商會「把事情搞砸」,因為他們缺乏面對故障的經驗。

背後的決策都很平常,而這正是其危險之處。對 AOL 而言,維護意味著要讓整個服務停機,因為沒有線上升級的途徑。監控也在同一個維護時段內被關閉。成長速度超越了基礎設施。而當一切結束後,執行長 Steve Case 以這個媒介尚屬新興為由,無法保證不會再次發生。1996 年 5 月曾發生一次驚人相似的停機事件——AOL 資料中心的一相電力被切斷,發電機毫無察覺,電池耗盡——卻從未登上任何一則新聞版面,因此什麼都沒有改變。

時任 AOL 營運副總裁的 Matt Korn 後來回憶,公司最終重建了系統,使維護完全不再需要停機,悄然修補了原本的弱點。但到那時,這場大停擺早已成為歷史——那是普羅大眾第一次以新聞事件的形式經歷的網際網路中斷,證明當足夠多的日常生活都跑在你的伺服器上時,可靠性就會成為頭版話題。

全球最大線上服務中斷 19 小時;登上全國新聞頭條,把 NASA 的火星生命發現擠下《紐約時報》頭版

維護程序要求整個服務全面停機,因為當時沒有滾動式或線上升級的能力。

負責監看網路故障的軟體在同一個維護時段內被關閉,因此 ANS 的故障沒有被及早偵測到。

超高速成長已超出基礎設施所能負荷;當時的人們就已警告,線上服務「成長得太快,超出其自身系統所能承受」。

1996 年 5 月一次幾乎相同的基礎設施故障,因為完全沒有被報導,所以組織在公開層面什麼都沒學到。

領導層的定調降低了再次發生的門檻,而非承諾修復,把中斷視為新媒介不可避免的代價。

維護時段就是停機的預演。AOL 把整個服務停機視為例行公事——還為此關掉了監控。可靠性債會一直潛藏,直到例行作業在全國規模上出錯。

根據 Korn 的說法,AOL 重建了系統,使維護不再需要讓服務停機,補上了導致這次大停擺的特定弱點。公司並未因這次中斷付出持久的商業代價——它持續成長,當時正因會計問題接受 SEC 的另案調查,而三十年後,AOL 品牌於 2025 年以 15 億美元賣給 Bending Spoons。這場 19 小時的大停擺,仍是關鍵基礎設施成長速度快過其維護能力時會發生什麼事的範本案例。

追溯依據

參考來源

  1. 'Routine Maintenance' Turned AOL Off, Firm Says The Washington Post · washingtonpost.com ·
  2. AOL was down (1996) ngrok Blog · ngrok.com ·
  3. 1996 Flashback: AOL Goes Down For 19 Hours CBS News · cbsnews.com