事件經過
在雙 11 購物節之後的星期日,即 2023 年 11 月 12 日,阿里雲的產品主控台與控制 API 在所有區域全面停擺。該公司自家的健康狀態面板顯示全部 92 項雲端產品處於異常狀態,包括淘寶、閒魚、釘釘與阿里雲盤在內的消費端應用程式對使用者中斷服務,同時在阿里雲上運行的第三方服務也受到影響。
官方故障報告將此次中斷追溯至存取金鑰(Access Key,AK)服務,也就是負責驗證控制平面請求的元件。該服務在讀取其白名單資料時遭遇讀取異常,而原本用於處理該例外狀況的程式碼存在邏輯缺陷:它並未安全地失敗,反而產生了不完整的白名單,因此不在清單上的有效請求遭到拒絕。物件儲存、表格儲存、日誌服務與訊息服務依賴 AK 服務,因而部分失效;已在運算與資料庫工作負載則未受影響。
工程師修正了白名單版本,並分批重啟 AK 服務。主控台自 18:35 起逐區恢復,多數區域於 19:20 前復原——距 17:39 故障開始已 1 小時 41 分鐘——最後受影響的產品於 21:11 恢復。
這是阿里雲一年內第二次重大故障,前一次是 2022 年 12 月的香港區域中斷。四天後,阿里巴巴取消了原定的雲端事業完全分拆與 IPO,官方說法是美國晶片出口管制。11 月 27 日,該平台在一個月內遭遇第二次中斷,波及八個區域的資料庫產品。
代價
主控台與控制 API 中斷 1 小時 41 分鐘;完全恢復耗時 3.5 小時;SLA 補償代金券估計超過人民幣 1 億元——約當該事業單位一個月的利潤。
原因
身分驗證是共用相依元件:存取金鑰服務位於每項產品之下,因此該處一旦故障,所有產品便同時失效。
例外處理常式的邏輯缺陷使讀取異常演變為不完整的白名單,而非退回至已知良好的副本。
復原作業為手動進行——修復白名單並分批重啟 AK 服務——因為沒有自動回復路徑。
此事發生在一年的人事動盪之後:該雲端事業單位歷經兩次執行長更迭與削減成本,中國業界分析師將其與營運紀律減弱連結。
教訓
雲端的強健程度取決於其共用的身分平面:存取金鑰服務中一個有缺陷的例外處理常式,便同時使每項產品失效。共用基礎設施需要金絲雀發布與備援機制。
後續
阿里雲依其 SLA 向客戶發放補償代金券,該 SLA 承諾當停機時間超過 43 分鐘時,補償月費的 30%;累積金額較低的個人開發者則補足至人民幣 50 元。中國業界估計總額超過人民幣 1 億元,約當該事業單位一個月的利潤。分拆決定於 11 月 16 日隨之公布,執行長吳泳銘表示完全分拆「可能無法達到預期效果」。11 月 27 日的中斷波及包括北京、上海、香港與維吉尼亞在內八個區域的資料庫主控台與 OpenAPI,持續近兩小時。
追溯依據
參考來源
- 阿里云11.12故障原因曝光:访问密钥服务(Access Key)异常 OSCHINA (via Tencent News) · news.qq.com ·
- 阿里云的“寒冬”:重大故障为何发生?又如何避免? Sina Tech / 21st Century Business Herald · finance.sina.com.cn ·
- Alibaba Cloud suffers second service outage in a month Reuters (via Yahoo News) · sg.news.yahoo.com ·
- Alibaba cancels cloud spinoff, blames US chip sanctions The Register · theregister.com ·