알리바바 클라우드의 액세스 키 버그로 전 세계 콘솔이 마비됐고, 그 후 분사는 무산됐다

광군제 쇼핑 축제 다음 날인 2023년 11월 12일 일요일, 알리바바 클라우드의 제품 콘솔과 제어 API가 모든 리전에서 먹통이 됐다. 회사 자체 상태 패널에는 92개 클라우드 제품 전부가 비정상 상태로 표시됐고, 타오바오, 셴위, 딩톡, 알리드라이브 등 소비자 앱과 알리바바 클라우드에서 실행되는 타사 서비스도 사용자들에게서 작동이 중단됐다.

공식 장애 보고서는 이 중단의 원인을 제어 플레인 요청을 인증하는 구성 요소인 액세스 키(AK) 서비스로 추적했다. 화이트리스트 데이터를 읽던 중 서비스가 읽기 이상을 겪었고, 해당 예외를 처리하도록 설계된 코드에 논리 결함이 있었다. 안전하게 실패하는 대신 불완전한 화이트리스트를 생성하여 목록에 없는 유효한 요청이 거부됐다. 객체 스토리지, 테이블 스토어, 로그 서비스, 메시지 서비스가 AK 서비스에 의존하여 부분적으로 실패했으며, 이미 실행 중이던 컴퓨팅 및 데이터베이스 워크로드는 영향을 받지 않았다.

엔지니어들은 화이트리스트 버전을 수정하고 AK 서비스를 일괄적으로 재시작했다. 콘솔은 18:35부터 리전별로 복구되었고, 대부분의 리전은 17:39에 장애가 시작된 후 1시간 41분 뒤인 19:20까지 복구되었으며, 마지막으로 영향을 받은 제품들은 21:11까지 복원되었다.

이는 2022년 12월 홍콩 리전 장애 이후 1년 만에 발생한 알리바바 클라우드의 두 번째 대형 장애였다. 나흘 후 알리바바는 클라우드 부문의 계획된 완전 분사 및 IPO를 취소했으며, 공식적으로는 미국의 칩 수출 통제를 이유로 들었다. 11월 27일에는 한 달 만에 두 번째 장애를 겪어 8개 리전의 데이터베이스 제품이 영향을 받았다.

콘솔 및 제어 API 1시간 41분 중단, 완전 복구까지 3.5시간 소요, SLA 보상 바우처는 1억 위안 이상으로 추정되며 이는 해당 부문 수익 약 한 달치에 해당한다.

인증은 공유 의존성이다. 액세스 키 서비스는 모든 제품의 기반에 위치하므로 그곳의 결함은 모든 제품을 동시에 실패하게 만든다.

예외 처리기의 논리 결함은 읽기 이상을 알려진 정상 사본으로 폴백하는 대신 불완전한 화이트리스트로 전환시켰다.

자동 롤백 경로가 없었기 때문에 복구는 수동으로 이루어졌다. 화이트리스트를 수정하고 AK 서비스를 일괄적으로 재시작하는 방식이었다.

이는 클라우드 부문에서 두 차례의 CEO 교체와 비용 절감이 있었던 1년간의 잡음 이후에 발생했으며, 중국 업계 분석가들은 이를 운영 규율 약화와 연결지었다.

클라우드는 공유 ID 플레인만큼만 강하다. 액세스 키 서비스의 결함 있는 예외 처리기 하나가 모든 제품을 동시에 실패하게 만들었다. 공유 기반에는 카나리와 폴백이 필요하다.

알리바바 클라우드는 SLA에 따라 고객에게 보상 바우처를 지급했으며, SLA는 다운타임이 43분을 초과하면 월 요금의 30%를 약속한다. 그보다 적게 적립된 개인 개발자들은 50위안까지 충전해 주었다. 중국 업계 추정치는 총액을 1억 위안 이상으로 보며, 이는 해당 부문 수익 약 한 달치에 해당한다. 분사 결정은 11월 16일에 이어졌으며, CEO 에디 우는 완전 분사가 '의도한 효과를 달성하지 못할 수 있다'고 말했다. 11월 27일 장애는 베이징, 상하이, 홍콩, 버지니아를 포함한 8개 리전의 데이터베이스 콘솔과 OpenAPI를 거의 두 시간 동안 타격했다.