案例库 · 软件与 IT · 技术决策 · 2022
KDDI 长达 61 小时的宕机波及全日本数百万用户,这家运营商史上最大的一次失败
一次例行路由数据更新中的软件缺陷,让日本第二大运营商瘫痪 61 小时,并被迫支付 73 亿日元赔偿。
KDDI · 2022-07-02
怎么回事
2022 年 7 月 2 日凌晨 1 点 35 分,日本第二大移动运营商 KDDI 遭遇大规模服务中断,持续约 61 小时,直到 7 月 4 日下午 3 点。全国语音和数据服务瘫痪,在一个长周末伊始打乱数百万客户。总务省报告称这是一起「重大事故」,也是这家运营商历史上最大的一次失败。
原因是 KDDI 更新路由数据时浮出水面的一处软件缺陷。更新触发了一个在网络中逐级放大的故障,而信令功能的失效意味着语音通话和数据会话既无法建立、也无法维持。由于问题出在核心网络逻辑而非任何单块硬件上,仅仅重启设备并不能恢复服务,恢复被拖了好几天。
总务省最终报告统计出超过 3091 万受影响客户:约 2316 万语音用户,以及超过 775 万数据用户,早前估计一度接近 4000 万条线路。KDDI 社长高桥诚公开道歉,公司宣布向其 3589 万客户每人赔偿 200 日元(约 1.51 美元),纯语音用户再免两天基本费——总支出约 73 亿日元。
这场宕机是一记为二的决策失败:路由数据更新在未发现其背后软件缺陷的情况下就上线了,而一旦被触发,故障就逐级放大而非被遏制。KDDI 的赔偿账单、破坏的规模,以及对一家全国性运营商可靠性的损害,都源自一次在全国尺度上出错的路由更新。
为什么会这样
- 一处例行路由数据更新里的软件缺陷击垮了核心网络功能,而这一缺陷在上线前未被发现
- 故障在网络中逐级放大而非被遏制,于是语音和数据瘫痪了 61 小时,而不是几分钟
- 由于没有快速恢复路径,KDDI 不得不向 3589 万客户每人赔付 200 日元,形成约 73 亿日元的赔偿账单
- 宕机发生在一个长周末伊始,把对全国运营商用户的破坏放大到最大
教训
一家全国运营商的核心网络是一个单一的故障域:一次更新里的缺陷就能让语音和数据瘫痪数百万用户好几天,因此越是深层的系统,越需要更多的测试和更快的回滚。
后来呢
KDDI 社长高桥诚公开道歉,公司向 3589 万客户每人赔偿 200 日元,纯语音用户再免两天基本费,总支出约 73 亿日元。总务省的最终报告统计出超过 3091 万受影响客户,并敦促这家运营商加强系统冗余与测试。
资料来源
- KDDI — Important news: Report on the service failure and compensation
- The Asahi Shimbun — KDDI says it will compensate 36 million users for massive outage
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。