O bug da chave de acesso do Alibaba Cloud derrubou seu console no mundo todo — e então a cisão morreu

No domingo seguinte ao seu festival de compras Double 11, 12 de novembro de 2023, os consoles de produtos e as APIs de controle do Alibaba Cloud ficaram fora do ar em todas as regiões. O próprio painel de saúde da empresa mostrou todos os 92 produtos de nuvem em estado anormal, e aplicativos de consumo, incluindo Taobao, Xianyu, DingTalk e AliDrive, falharam para os usuários, juntamente com serviços de terceiros executados no Alibaba Cloud.

O relatório oficial de falhas atribuiu a interrupção ao serviço Access Key (AK), o componente que autentica solicitações do plano de controle. Ao ler seus dados de lista de permissões, o serviço encontrou uma anomalia de leitura, e o código destinado a tratar essa exceção tinha um defeito de lógica: em vez de falhar de forma segura, ele gerou uma lista de permissões incompleta, de modo que solicitações válidas que não estavam na lista foram rejeitadas. Armazenamento de objetos, armazenamento de tabelas, serviço de logs e serviço de mensagens dependiam do serviço AK e falharam parcialmente; cargas de trabalho de computação e banco de dados já em execução não foram afetadas.

Os engenheiros corrigiram a versão da lista de permissões e reiniciaram o serviço AK em lotes. Os consoles voltaram região por região a partir das 18h35, a maioria das regiões se recuperou até as 19h20 — 1 hora e 41 minutos após a falha começar às 17h39 — e os últimos produtos afetados foram restaurados até as 21h11.

Foi a segunda falha emblemática do Alibaba Cloud em um ano, depois da interrupção da região de Hong Kong em dezembro de 2022. Quatro dias depois, o Alibaba cancelou a cisão total e a IPO planejadas de sua unidade de nuvem, citando oficialmente os controles de exportação de chips dos EUA. Em 27 de novembro, a plataforma sofreu uma segunda interrupção em um mês, atingindo produtos de banco de dados em oito regiões.

Console e API de controle fora do ar por 1h41; a recuperação total levou 3,5 horas; vouchers de compensação de SLA estimados acima de ¥100 milhões — aproximadamente um mês de lucro da unidade.

A autenticação é uma dependência compartilhada: o serviço de chave de acesso está sob todos os produtos, então uma falha ali os derruba todos simultaneamente.

O defeito de lógica do manipulador de exceções transformou uma anomalia de leitura em uma lista de permissões incompleta, em vez de recorrer a uma cópia sabidamente boa.

A recuperação foi manual — reparar a lista de permissões e reiniciar o serviço AK em lotes — porque não havia caminho de reversão automática.

Isso veio após um ano de turbulência: duas trocas de CEO e cortes de custos na unidade de nuvem, que analistas do setor chinês associaram a uma disciplina operacional mais fraca.

Uma nuvem é tão forte quanto seu plano de identidade compartilhado: um único manipulador de exceções defeituoso no serviço de chave de acesso derrubou todos os produtos de uma vez. Fundamentos compartilhados precisam de canários e fallbacks.

O Alibaba Cloud pagou vouchers de compensação aos clientes sob seu SLA, que promete 30% de uma mensalidade quando a indisponibilidade excede 43 minutos; desenvolvedores individuais que acumularam menos foram complementados até ¥50. Estimativas do setor chinês colocam o total acima de ¥100 milhões, cerca de um mês de lucro da unidade. A decisão de cisão veio em seguida, em 16 de novembro, com o CEO Eddie Wu dizendo que uma cisão total 'pode não alcançar o efeito pretendido'. A interrupção de 27 de novembro atingiu consoles de banco de dados e a OpenAPI em oito regiões, incluindo Pequim, Xangai, Hong Kong e Virgínia, por quase duas horas.