返回档案库

案例库 · 工程与运营 · 技术决策 · 2023

唯品会机房冷却故障致损失过亿,基础平台负责人被免职

唯品会南沙数据中心冷却系统故障导致服务宕机超 12 小时,影响 800 万以上用户,造成超亿元损失,平台负责人被免职

Vipshop · 唯品会 · 2023-03-29

怎么回事

2023 年 3 月 29 日,唯品会电商平台发生严重宕机事故。南沙 IDC 的冷却系统故障导致服务器机房温度急剧上升,引发设备连锁关机。宕机持续超过 12 小时,影响超过 800 万用户,造成公司直接经济损失超过 1 亿元人民币。唯品会将此次事故定为 P0 级(最高级别)故障。

公司的应对迅速而公开:基础平台部门负责人被开除,相关团队的直接管理者被追责。事故还波及了在同一数据中心托管服务的腾讯,腾讯内部将该事件定为「一级事故」,多名高管受到批评、降职或免职。此次故障暴露了单数据中心架构和灾难恢复预案不足的风险。

为什么会这样

  • 唯品会的整个平台运行在单一数据中心上,没有实时故障切换能力——一个机房的冷却故障就拖垮了整个公司
  • 宕机持续 12 小时,说明即使是最基本的灾难恢复流程也未建立或无法快速启动
代价超 1 亿元损失,800 万以上用户受影响,副总裁被免职代价高昂

教训

单一数据中心就是单点故障,冷却系统故障不是偶然事件——这是一个每个平台都应该能承受的可预见风险

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →