事件經過
2023年3月29日,唯品會的電子商務平台發生災難性中斷:其南沙網際網路資料中心(IDC)的冷卻系統故障,導致機房溫度迅速上升,引發設備連鎖關機。中斷持續超過12小時,影響逾800萬名客戶,並對該公司造成逾1億元直接損失。唯品會將此事件列為P0(最嚴重)級故障。
該公司的回應迅速且公開:基礎設施平台部門負責人被解僱,受影響團隊的直接主管被追究責任。此事件也波及騰訊,該公司在同一資料中心託管服務,並在內部將此事件列為「一級事故」,導致數名高階主管受到批評、降職和免職。此次故障暴露了單一資料中心架構及災難復原規劃不足的風險。
損失代價
唯品會僅在單一資料中心運行,沒有容錯移轉機制,因此一次冷卻故障就造成逾1億元損失,並使一名副總裁丟官。
發生原因
唯品會將整個平台運行於單一資料中心,沒有即時容錯移轉——一個機房的冷卻故障就拖垮了整家公司
中斷持續12小時,顯示即使基本的災難復原程序也未到位,或無法及時啟動
教訓
單一資料中心就是單一故障點,而冷卻故障並非罕見事件——這是每個平台都應能承受的可預測風險
追溯依據
參考來源
- 36Kr — 宕机超12小时,损失过亿,唯品会基础平台负责人被'祭天' 36kr.com
- Jiemian — 唯品会公布329机房宕机故障处罚结果,相关负责人被免职 jiemian.com
- Huxiu — 造成损失过亿元!唯品会崩了事件负责人被免职 huxiu.com
- NBD — 影响800万用户,损失上亿元…'唯品会崩了'查清,相关负责人被免职 api.nbd.com.cn