发生了什么
2023 年 3 月 29 日,唯品会电商平台发生严重宕机事故。南沙 IDC 的冷却系统故障导致服务器机房温度急剧上升,引发设备连锁关机。宕机持续超过 12 小时,影响超过 800 万用户,造成公司直接经济损失超过 1 亿元人民币。唯品会将此次事故定为 P0 级(最高级别)故障。
公司的应对迅速而公开:基础平台部门负责人被开除,相关团队的直接管理者被追责。事故还波及了在同一数据中心托管服务的腾讯,腾讯内部将该事件定为「一级事故」,多名高管受到批评、降职或免职。此次故障暴露了单数据中心架构和灾难恢复预案不足的风险。
付出的代价
超 1 亿元损失,800 万以上用户受影响,副总裁被免职
为什么发生
唯品会的整个平台运行在单一数据中心上,没有实时故障切换能力——一个机房的冷却故障就拖垮了整个公司
宕机持续 12 小时,说明即使是最基本的灾难恢复流程也未建立或无法快速启动
可以学到什么
单一数据中心就是单点故障,冷却系统故障不是偶然事件——这是一个每个平台都应该能承受的可预见风险
从这里,追溯依据
参考来源
- 36Kr — 宕机超12小时,损失过亿,唯品会基础平台负责人被'祭天' 36kr.com
- Jiemian — 唯品会公布329机房宕机故障处罚结果,相关负责人被免职 jiemian.com
- Huxiu — 造成损失过亿元!唯品会崩了事件负责人被免职 huxiu.com
- NBD — 影响800万用户,损失上亿元…'唯品会崩了'查清,相关负责人被免职 api.nbd.com.cn