AWS 一条敲错的命令搞垮了 S3——以及大半个互联网——整整四个小时

2017 年 2 月 28 日上午，亚马逊云科技 （AWS） 的一名工程师正在调试一个问题：Amazon S3——公司极受欢迎的云存储服务——的计费系统响应缓慢。按照标准操作手册，工程师运行了一条命令，本意是把少量 S3 服务器下线以便检查。但这条命令的一个错误输入，下线的服务器远超预期，其中包括运行 S3 两个核心子系统的服务器：一个是追踪所有数据存放位置的索引，一个是分配存储的系统。

索引子系统一倒，US-EAST-1 区域 （北弗吉尼亚） 的 S3 就无法处理请求，错误向外蔓延。互联网上有海量东西建在 S3 之上——不只是存放图片和文件的网站，还有其他 AWS 服务，从计算仪表盘到存储卷，再到无服务器函数。S3 一摇晃，这些服务也跟着摇晃。大约四个小时里，一大批热门网站和应用——从 Slack、Trello 到无数其他——要么坏了要么变慢，这场宕机在全球上了热搜。

AWS 甚至难以告诉大家发生了什么：它自己的服务健康仪表盘依赖 S3，所以在服务宕机时发不出一条清晰的状态更新。工程师重启了子系统，S3 在当天上午晚些时候恢复上线。亚马逊发布了一篇坦诚的事故复盘并道歉，表示会加上防护措施，让一条命令无法把容量降到某个最低值以下，会把 S3 的各子系统隔离开，让一个错误无法把它们全部拖垮，还会把状态仪表盘从它所报告的服务上搬走。