アリババクラウドのアクセスキー不具合が世界規模でコンソールを停止させ、その後スピンオフは中止された

ダブル11のショッピングフェスティバルの翌日曜日、2023年11月12日、アリババクラウドの製品コンソールとコントロールAPIが全リージョンで停止した。同社のヘルスパネルは92のクラウド製品すべてが異常状態にあることを示し、淘宝（タオバオ）、閑魚（シエンユー）、釘釘（ディンディン）、阿里雲盤（アリドライブ）を含む消費者向けアプリがユーザーに対して機能不全となり、アリババクラウド上で稼働するサードパーティサービスも同様に影響を受けた。

公式の障害報告書は、障害をコントロールプレーンのリクエストを認証するコンポーネントであるAccess Key（AK）サービスに帰した。ホワイトリストデータを読み取る際にサービスは読み取り異常に遭遇し、その例外を処理するためのコードに論理欠陥があった。安全側に失敗する代わりに不完全なホワイトリストを生成したため、リストにない有効なリクエストが拒否された。オブジェクトストレージ、テーブルストア、ログサービス、メッセージサービスはAKサービスに依存しており部分的に失敗したが、既に稼働中のコンピュートおよびデータベースのワークロードは影響を受けなかった。

エンジニアはホワイトリストのバージョンを修正し、AKサービスをバッチで再起動した。コンソールは18:35からリージョンごとに復旧し、ほとんどのリージョンは19:20までに回復した。これは17:39に始まった障害から1時間41分後であり、最後の影響製品は21:11までに復旧した。

これは2022年12月の香港リージョン障害に続く、1年で2度目のアリババクラウドの主要な障害であった。4日後、アリババはクラウド部門の予定されていた完全なスピンオフとIPOを中止し、公式には米国のチップ輸出規制を理由として挙げた。11月27日、プラットフォームは1か月で2度目の障害に見舞われ、8つのリージョンのデータベース製品に影響を与えた。

コンソールとコントロールAPIが1時間41分停止し、完全復旧には3.5時間を要した。SLA補償のバウチャーは1億元超と推定され、これは同部門の約1か月分の利益に相当する。

認証は共有の依存関係である。アクセスキーサービスはすべての製品の基盤にあるため、そこでの障害はすべての製品を同時に失敗させる。

例外ハンドラの論理欠陥は、既知の正常なコピーにフォールバックする代わりに、読み取り異常を不完全なホワイトリストに変えてしまった。

復旧は手動であった。ホワイトリストを修復し、AKサービスをバッチで再起動する必要があった。自動ロールバックの経路がなかったためである。

これは1年にわたる混乱の後に起きた。クラウド部門では2度のCEO交代とコスト削減があり、中国の業界アナリストはこれを運用規律の弱体化と関連付けた。

クラウドの強さは共有のアイデンティティプレーンによって決まる。アクセスキーサービスの1つの欠陥ある例外ハンドラが、すべての製品を一度に失敗させた。共有の基盤にはカナリアとフォールバックが必要である。

アリババクラウドはSLAに基づき顧客に補償バウチャーを支払った。SLAはダウンタイムが43分を超えた場合に月額料金の30%を約束するものである。累積額がそれ未満の個人開発者には50元まで補填された。中国の業界推計では総額は1億元超で、同部門の約1か月分の利益に相当する。スピンオフの中止決定は11月16日に続いた。CEOのEddie Wuは完全なスピンオフは「意図した効果を達成できない可能性がある」と述べた。11月27日の障害は、北京、上海、香港、バージニアを含む8つのリージョンでデータベースコンソールとOpenAPIに約2時間にわたり影響を与えた。