1996年8月7日黎明前,AOL技术人员关闭了他们的计算机系统,进行公司所称的例行维护。《华盛顿邮报》报道称,系统关闭期间,通常用于检测AOL计算机与其网络合作伙伴ANS之间故障的软件也随之关闭——而恰恰在这个窗口期,ANS发生了一次故障。全球最大的在线服务再也没有恢复。

在19个小时里,美国在线就这样消失了。错误屏幕告诉用户1小时45分钟后重试;而实际中断时间长达其十倍,成为全国新闻头条,并把NASA关于火星可能存在生命的公告挤下了《纽约时报》头版。分析人士对NPR表示,在线服务的发展速度已经超出了自身系统的承受能力——而人们依赖的提供商之所以“把事情搞砸”,是因为他们缺乏应对故障的经验。

背后的决策都很平常,而这正是其危险之处。对AOL来说,维护意味着把整个服务下线,因为没有在线升级路径。监控作为同一窗口的一部分被关闭。增长超出了基础设施的承载能力。而当一切结束后,CEO史蒂夫·凯斯以媒介尚新为由,无法保证此事不会再次发生。1996年5月一次惊人相似的宕机——AOL数据中心一相电源被切断,发电机从未察觉,电池耗尽——从未登上过任何一栏新闻,因此什么也没有改变。

时任AOL运营副总裁的马特·科恩后来回忆说,公司最终重建了系统,使维护完全不再需要停机,悄然修复了最初的弱点。但到那时,这次断网已经作为公众首次以新闻形式经历的互联网宕机载入史册——证明了当足够多的日常生活运行在你的服务器上时,可靠性就会成为头版话题。

全球最大的在线服务离线19小时;它成为全国新闻头条,把NASA的火星生命发现挤下了《纽约时报》头版

维护程序要求整个服务完全关闭,因为没有滚动升级或在线升级能力。

用于监视网络故障的软件在同一窗口内被断电,因此ANS的故障没有被及早发现。

超高速增长超出了基础设施的承载能力;当时的人已经警告说,在线服务“发展太快,超出了自身系统的承受能力”。

1996年5月一次几乎相同的基础设施故障没有公开给组织带来任何教训,因为它完全没有被报道。

领导层的表述降低了再次发生的门槛,而不是承诺修复,把宕机视为新媒介不可避免的代价。

维护窗口就是宕机演练。AOL把关闭整个服务视为例行公事——并为此关闭了监控。可靠性债务会一直隐藏,直到例行操作在全国范围内失败。

据科恩说,AOL重建了系统,使维护不再需要让服务下线,堵住了导致此次断网的具体弱点。公司没有为这次宕机付出持久的商业代价——它继续增长,当时正因会计问题接受SEC的单独调查,三十年后,AOL品牌于2025年以15亿美元出售给Bending Spoons。这次19小时的断网仍然是关键基础设施的发展速度超过其维护能力时会发生什么的模板案例。

从这里,追溯依据

参考来源

  1. 'Routine Maintenance' Turned AOL Off, Firm Says The Washington Post · washingtonpost.com ·
  2. AOL was down (1996) ngrok Blog · ngrok.com ·
  3. 1996 Flashback: AOL Goes Down For 19 Hours CBS News · cbsnews.com