阿里云访问密钥缺陷导致其控制台全球瘫痪——随后分拆计划告吹

在双十一购物节后的周日，即2023年11月12日，阿里云的产品控制台和控制API在所有地域全部不可用。公司自身的健康面板显示全部92款云产品处于异常状态，包括淘宝、闲鱼、钉钉和阿里云盘在内的消费者应用对用户出现故障，同时运行在阿里云上的第三方服务也受到影响。

官方故障报告将此次中断追溯到访问密钥（Access Key，AK）服务，即负责对控制面请求进行身份验证的组件。该服务在读取其白名单数据时遇到读取异常，而用于处理该异常的代码存在逻辑缺陷：它没有安全失败，而是生成了不完整的白名单，导致不在名单上的有效请求被拒绝。对象存储、表格存储、日志服务和消息服务依赖AK服务并部分失败；已在运行的计算和数据库工作负载未受影响。

工程师修复了白名单版本并分批重启AK服务。控制台从18:35起按地域逐步恢复，大部分地域在19:20前恢复——距17:39故障开始已1小时41分钟——最后受影响的产品在21:11前恢复。

这是阿里云一年内的第二次重大故障，此前是2022年12月的香港地域中断。四天后，阿里巴巴取消了云业务全面分拆并IPO的计划，官方理由是美国的芯片出口管制。11月27日，该平台在一个月内遭遇第二次中断，影响了八个地域的数据库产品。

控制台和控制API中断1小时41分钟；完全恢复耗时3.5小时；SLA补偿代金券估计超过1亿元人民币——大致相当于该业务部门一个月的利润。

身份验证是共享依赖：访问密钥服务位于每款产品之下，因此该处故障会同时使所有产品失败。

异常处理器的逻辑缺陷将读取异常变成了不完整的白名单，而不是回退到已知良好的副本。

恢复是手动进行的——修复白名单并分批重启AK服务——因为不存在自动回滚路径。

此事发生在一年的动荡之后：云业务部门两次更换CEO并削减成本，中国行业分析师将其与运营纪律减弱联系起来。

云平台的强度取决于其共享身份平面：访问密钥服务中一个缺陷的异常处理器同时使所有产品失败。共享基础设施需要金丝雀发布和回退机制。

阿里云根据其SLA向客户支付了补偿代金券，该SLA承诺一旦停机超过43分钟即赔付月费的30%；累计金额较少的个人开发者被补足至50元。中国行业估计总额超过1亿元人民币，约相当于该业务部门一个月的利润。分拆决定随后于11月16日作出，CEO吴泳铭表示全面分拆“可能无法达到预期效果”。11月27日的中断影响了包括北京、上海、香港和弗吉尼亚在内的八个地域的数据库控制台和OpenAPI，持续近两个小时。