案例库 · 软件与 IT · 技术决策 · 2024
AT&T 的全国性中断阻断了 9200 万次通话和超过 25000 次 911 呼叫
一次网络配置更改让超过 1.25 亿台设备离线超过 12 小时,而 FCC 发现这次更改在没有任何同行评审和上线后测试的情况下就被部署了。
AT&T · 2024-02-22
怎么回事
2024 年 2 月 22 日美国中部时间凌晨约 2 点 45 分,AT&T 的无线网络进入全国性的「保护模式」,大多数电话、短信和数据都无法路由。在高峰期,Downdetector 上报了约 7.4 万起事故,此次中断影响了全美 50 个州、华盛顿特区、波多黎各和美属维尔京群岛超过 1.25 亿台设备。服务在超过 12 小时后才完全恢复。
原因是 AT&T 扩展网络时引入的一个配置错误。美国联邦通信委员会(FCC)的调查发现,该更改在部署时没有经过同行评审、没有上线后测试、实验室测试不足,对核心网络更改的控制也欠充分。影响超出了不便:超过 9200 万次语音通话未能接通,超过 2.5 万次拨向 911 紧急服务的尝试被阻断。旧金山等城市提醒居民,手机拨打 911 可能无法接通。
AT&T 股价当天下跌 2.41%,FCC 就这次中断对该公司罚款 95 万美元。公司表示将采取措施防止再次发生,但 FCC 的报告把根本失败讲得很清楚:对公司最关键的这项基础设施的一次更改,在没有能拦住它的检查的情况下直接上了生产。
这次中断之所以引人注目,是因为它如此可防。失败里没有任何特别之处——没有网络攻击,没有硬件灾难——只是一次跳过了标准评审和测试关卡、例行的网络更改。爆炸半径之所以这么大,是因为一家运营商的错误配置就能一次让 1.25 亿人离线,包括他们在紧急情况下呼叫求助的能力。
为什么会这样
- AT&T 部署了一次核心网络配置更改,没有同行评审、没有上线后测试,错误没被拦住就传到数百万客户手里
- 实验室测试不足、对核心网络更改控制薄弱,让一个本可避免的错误变成全国性失败
- 一次配置错误的更改就让超过 1.25 亿台设备离线,显示出从一个配置错误到整个网络之间几乎没有任何韧性
- 超过 2.5 万次被阻断的 911 尝试,把业务连续性问题变成了公共安全问题
教训
最关键的基建要求最严格的评审:一次跳过同行评审和上线后测试的配置更改,能让 1.25 亿人离线、阻断紧急呼叫。
资料来源
- FCC — AT&T investigation: Report on the February 22, 2024 nationwide wireless service outage
- CNBC — AT&T cellular service restored after daylong outage; cause still unknown
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。