案例库 · 工程与运营 · 技术决策 · 2023
唯品会机房冷却故障致损失过亿,基础平台负责人被免职
唯品会南沙数据中心冷却系统故障导致服务宕机超 12 小时,影响 800 万以上用户,造成超亿元损失,平台负责人被免职
Vipshop · 唯品会 · 2023-03-29
怎么回事
2023 年 3 月 29 日,唯品会电商平台发生严重宕机事故。南沙 IDC 的冷却系统故障导致服务器机房温度急剧上升,引发设备连锁关机。宕机持续超过 12 小时,影响超过 800 万用户,造成公司直接经济损失超过 1 亿元人民币。唯品会将此次事故定为 P0 级(最高级别)故障。
公司的应对迅速而公开:基础平台部门负责人被开除,相关团队的直接管理者被追责。事故还波及了在同一数据中心托管服务的腾讯,腾讯内部将该事件定为「一级事故」,多名高管受到批评、降职或免职。此次故障暴露了单数据中心架构和灾难恢复预案不足的风险。
为什么会这样
- 唯品会的整个平台运行在单一数据中心上,没有实时故障切换能力——一个机房的冷却故障就拖垮了整个公司
- 宕机持续 12 小时,说明即使是最基本的灾难恢复流程也未建立或无法快速启动
代价超 1 亿元损失,800 万以上用户受影响,副总裁被免职代价高昂
教训
单一数据中心就是单点故障,冷却系统故障不是偶然事件——这是一个每个平台都应该能承受的可预见风险
资料来源
- 36Kr — 宕机超12小时,损失过亿,唯品会基础平台负责人被'祭天'
- Jiemian — 唯品会公布329机房宕机故障处罚结果,相关负责人被免职
- Huxiu — 造成损失过亿元!唯品会崩了事件负责人被免职
- NBD — 影响800万用户,损失上亿元…'唯品会崩了'查清,相关负责人被免职
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。