2009年6月29日,Rackspace位于达拉斯附近Grapevine的数据中心——其主要托管地点——发生断电,导致客户服务器当天部分时段宕机。客户网站大规模陷入黑暗,包括贾斯汀·汀布莱克和米歇尔·马尔金运营的页面,以及活动网站Eventbrite。此次中断也波及Rackspace自身系统:公司起初无法回复邮件或发布更新,客户于是涌向Twitter,确认自己是否唯一受影响者。

Rackspace向美国证券交易委员会披露了财务影响:一次性服务抵扣初步估计为250万至350万美元。其博客致歉将中断归因于“一系列电力基础设施问题”;TechCrunch将事件顺序概括为一次断电最终拖垮了备用系统本身。公司向客户承诺一项行动计划:“我们欠你们一项行动计划,以防止未来发生此类事件。”

八天后的7月7日,同一设施再次断电——这次源于一处电气连接故障,短暂切断了部分服务器的网络连接。直到第二次故障之后,Rackspace才完成发电机的生产负载测试,公司称这消除了问题并使数据中心恢复正常运行状态。

向美国证券交易委员会披露的一次性服务抵扣为250万至350万美元,对应一次导致客户服务器宕机部分时段的断电。

Grapevine设施的备用电力链路与主供电一同跳闸,纸面上存在的冗余恰好在最需要时失效。

发电机和UPS设备在第一次中断后进行了维护,但直到第二次中断后才进行生产负载测试——修复比故障晚了八天。

Rackspace自身的支持和状态渠道同样受到波及:内部系统受损,公司无法在第一小时内回应客户。

从未承载过生产负载的备用电力只是一种假设,而非冗余。Rackspace在八天内第二次中断之后,才对发电机进行生产负载测试。

Rackspace在美国证券交易委员会文件中披露了250万至350万美元的抵扣估计,在其博客上致歉,并承诺一项行动计划。7月7日的再次故障迫使公司加快沟通——公司全程通过博客和Twitter发布信息——并于7月8日宣布已完成发电机的生产负载测试,使Grapevine设施恢复正常运行状态。该设施此前已在2007年11月遭遇过一次重大中断。“你们自身内部运营缺乏冗余,令人高度担忧,”一位客户在公司博客上写道。

从这里,追溯依据

参考来源

  1. Rackspace Hosting disclosure on Grapevine power interruption and service credits SEC EDGAR · sec.gov
  2. Rackspace to issue as much as $3.5M in customer credits after outage Network World · web.archive.org ·
  3. Yes, Rackspace Is Down And So Are Many Of Your Favorite Sites TechCrunch · techcrunch.com ·
  4. Someone Needs To Stop Tripping Over The Power Cord At Rackspace TechCrunch · techcrunch.com ·