Vipshopの冷却障害、1億元の損失と副社長の解任を招く

2023年3月29日、Vipshopのeコマースプラットフォームは、南沙IDC（インターネットデータセンター）での冷却システム故障によりサーバールームの温度が急上昇し、機器の連鎖的なシャットダウンを引き起こしたことで、壊滅的な障害に見舞われた。障害は12時間以上続き、800万人以上の顧客に影響を与え、同社に1億元以上の直接損失をもたらした。VipshopはこのインシデントをP0（最も深刻）レベルの障害に分類した。

同社の対応は迅速かつ公開されたものであった。インフラストラクチャプラットフォーム部門の責任者は解雇され、影響を受けたチームの直属の管理者が責任を問われた。このインシデントは、同じデータセンターでサービスをホストしていたTencentにも影響を及ぼし、同社は内部的にこの事象を「レベル1事故」に分類し、複数の幹部に対する批判、降格、解雇という結果を招いた。この故障は、単一データセンターアーキテクチャと不十分な災害復旧計画のリスクを露呈させた。

Vipshopはフェイルオーバーのない単一のデータセンターで運用されていたため、1回の冷却障害で1億元以上の損失と副社長の職が失われた。

Vipshopはプラットフォーム全体をリアルタイムのフェイルオーバーのない単一のデータセンターで運用していたため、1つの部屋での冷却障害が会社全体を停止させた

障害は12時間続き、基本的な災害復旧手順すら整備されていなかったか、十分な速さで発動できなかったことを示唆している

単一のデータセンターは単一障害点であり、冷却障害は異常な出来事ではなく、あらゆるプラットフォームが耐えるべき予測可能なリスクである