返回档案库

案例库 · 软件与 IT · 技术决策 · 2022

KDDI 长达 61 小时的宕机波及全日本数百万用户,这家运营商史上最大的一次失败

一次例行路由数据更新中的软件缺陷,让日本第二大运营商瘫痪 61 小时,并被迫支付 73 亿日元赔偿。

KDDI · 2022-07-02

怎么回事

2022 年 7 月 2 日凌晨 1 点 35 分,日本第二大移动运营商 KDDI 遭遇大规模服务中断,持续约 61 小时,直到 7 月 4 日下午 3 点。全国语音和数据服务瘫痪,在一个长周末伊始打乱数百万客户。总务省报告称这是一起「重大事故」,也是这家运营商历史上最大的一次失败。

原因是 KDDI 更新路由数据时浮出水面的一处软件缺陷。更新触发了一个在网络中逐级放大的故障,而信令功能的失效意味着语音通话和数据会话既无法建立、也无法维持。由于问题出在核心网络逻辑而非任何单块硬件上,仅仅重启设备并不能恢复服务,恢复被拖了好几天。

总务省最终报告统计出超过 3091 万受影响客户:约 2316 万语音用户,以及超过 775 万数据用户,早前估计一度接近 4000 万条线路。KDDI 社长高桥诚公开道歉,公司宣布向其 3589 万客户每人赔偿 200 日元(约 1.51 美元),纯语音用户再免两天基本费——总支出约 73 亿日元。

这场宕机是一记为二的决策失败:路由数据更新在未发现其背后软件缺陷的情况下就上线了,而一旦被触发,故障就逐级放大而非被遏制。KDDI 的赔偿账单、破坏的规模,以及对一家全国性运营商可靠性的损害,都源自一次在全国尺度上出错的路由更新。

为什么会这样

  • 一处例行路由数据更新里的软件缺陷击垮了核心网络功能,而这一缺陷在上线前未被发现
  • 故障在网络中逐级放大而非被遏制,于是语音和数据瘫痪了 61 小时,而不是几分钟
  • 由于没有快速恢复路径,KDDI 不得不向 3589 万客户每人赔付 200 日元,形成约 73 亿日元的赔偿账单
  • 宕机发生在一个长周末伊始,把对全国运营商用户的破坏放大到最大
代价向 3589 万客户赔 73 亿日元;3091 万以上用户受影响 61 小时代价高昂

教训

一家全国运营商的核心网络是一个单一的故障域:一次更新里的缺陷就能让语音和数据瘫痪数百万用户好几天,因此越是深层的系统,越需要更多的测试和更快的回滚。

后来呢

KDDI 社长高桥诚公开道歉,公司向 3589 万客户每人赔偿 200 日元,纯语音用户再免两天基本费,总支出约 73 亿日元。总务省的最终报告统计出超过 3091 万受影响客户,并敦促这家运营商加强系统冗余与测试。

资料来源

发现哪里写错了?告诉我们。

Comments · 0

    登录 后就能评论。

    类似的案例

    这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →