2009 年 6 月 29 日,Rackspace 位於達拉斯附近 Grapevine 的資料中心(其主要代管據點)發生停電,導致客戶伺服器在當天部分時段停擺。客戶網站大規模陷入黑暗,包括 Justin Timberlake 與 Michelle Malkin 經營的頁面,以及活動網站 Eventbrite。這起中斷也波及 Rackspace 自家系統:該公司起初無法回覆電子郵件或發布更新,客戶於是湧向 Twitter,想弄清楚自己是否為唯一受影響的人。

Rackspace 向 SEC 揭露了財務衝擊:一次性服務折抵初步估計為 250 萬至 350 萬美元。該公司在部落格道歉文中將中斷歸因於「一系列電力基礎設施問題」;TechCrunch 則把事件順序概述為一次停電,最終連備援系統本身也遭殃。該公司向客戶承諾一項行動計畫:「我們欠你們一項行動計畫,以防止未來再發生這類事情。」

八天後,即 7 月 7 日,同一設施再度停電——這次是電氣連接故障,短暫切斷了部分伺服器的網路連線。直到第二次故障之後,Rackspace 才完成發電機的生產負載測試;該公司表示,這消除了問題,並讓資料中心恢復正常運作狀態。

向 SEC 揭露的一次性服務折抵 250 萬至 350 萬美元,起因於一次讓客戶伺服器停擺部分時段的停電。

Grapevine 廠區的備援電力鏈與主電力饋線一同跳脫,因此紙面上存在的備援,正好在最需要的時候失效。

發電機與 UPS 設備在第一次中斷後接受維修,但直到第二次中斷後才進行生產負載測試——修復比故障晚了八天。

Rackspace 自家的支援與狀態管道也同受波及:內部系統受損之際,該公司在第一小時內無法回應客戶。

從未承擔生產負載的備援電力只是假設,而非備援。Rackspace 直到八天內第二次中斷之後,才對發電機進行生產負載測試。

Rackspace 在 SEC 申報文件中揭露 250 萬至 350 萬美元的折抵估計,並在部落格上道歉,承諾提出行動計畫。7 月 7 日的再次停電迫使該公司加快溝通——該公司全程透過部落格與 Twitter 發布訊息——並於 7 月 8 日宣布已完成發電機的生產負載測試,讓 Grapevine 設施恢復正常運作狀態。該廠區早在 2007 年 11 月就曾發生重大中斷。一名客戶在該公司部落格寫道:「你們自家內部營運缺乏備援,令人高度擔憂。」

追溯依據

參考來源

  1. Rackspace Hosting disclosure on Grapevine power interruption and service credits SEC EDGAR · sec.gov
  2. Rackspace to issue as much as $3.5M in customer credits after outage Network World · web.archive.org ·
  3. Yes, Rackspace Is Down And So Are Many Of Your Favorite Sites TechCrunch · techcrunch.com ·
  4. Someone Needs To Stop Tripping Over The Power Cord At Rackspace TechCrunch · techcrunch.com ·