머스크의 '대규모 백엔드' 재작성으로 트위터가 5시간 동안 다운됐다

2022년 12월 28일, 트위터는 태평양 표준시 기준 오후 4시경 시작되어 5시간 넘게 지속된 광범위한 장애를 겪었다. 수만 명의 사용자가 이상한 오류 메시지, 빈 페이지, 설명 없는 로그아웃을 보고했으며, 많은 이가 답글을 볼 수 없거나 트윗에 응답할 수 없거나 인기 주제를 팔로우할 수 없었고, 일부는 서버가 감당하지 못함을 시사하는 '속도 초과 한도' 오류를 보았다. 다운디텍터와 넷블록스는 영국, 캐나다, 독일, 이탈리아, 인도에서의 보고를 확인했으며 트윗덱도 다운되었고, 넷블록스는 이 사건이 국가 차원의 인터넷 장애와 무관하다고 밝혔다.

직접적 원인은 자초한 것이었다. 머스크는 트위터를 '더 빠르게' 만들 '대규모 백엔드 서버 아키텍처 변경'을 출시했다고 트윗했다. 이는 그가 '더 민감한 서버 랙 중 하나의 연결을 끊은 후에도' 서비스가 작동한다고 트윗한 지 열흘 후였고, 트위터가 스팸을 없애기 위해 주로 아시아태평양 지역의 약 30개 이동통신사로부터의 트래픽을 잠시 차단한 지 몇 주 후였다.

맥락은 이 실패를 이해할 수 있게 했다. 머스크는 2022년 10월 말 트위터를 440억 달러에 인수했고, 서비스 인프라를 유지하던 수천 명의 직원을 포함해 수천 명을 해고하여 비용을 줄이려 했으며, 속도를 위해 '불필요한 코드'를 제거하도록 직접 압박했다. 엔지니어들은 그 표현을 조롱했다. 소프트웨어 아키텍트 그레이디 부치는 인용 트윗에서 '아키텍처. 당신은 그 단어를 계속 쓰고 있어요. 그게 당신이 생각하는 뜻이라고는 생각하지 않습니다.'라고 했다.

영국, 캐나다, 독일, 이탈리아, 인도 전역의 수만 명의 사용자를 강타한 5시간 장애; #TwitterDown 트렌드

이 장애는 수천 개의 인프라 일자리가 사라진 뒤에 발생했다. 즉, 그 네트워크를 이해하는 사람이 더 적은 상태에서 재작성이 이루어진 것이다.

이는 30개 통신사 차단 사건과 '민감한 서버 랙' 자랑 이후 한 달 만에 두 번째로 자초한 사건이었다.

실패 방식은 사용자에게 보였다. 속도 제한 오류, 빈 페이지, 강제 로그아웃 등으로 성능 개선 프로젝트가 트렌드 해시태그로 바뀌었다.

이해하지 못하는 인프라는 하중을 지탱한다. 성능 재작성과 비용 절감은 같은 방식으로 현실과 맞닥뜨린다. 특히 시스템을 알던 사람들이 사라졌을 때 그렇다.

트위터는 5시간 넘게 지난 후 문제를 해결했다. 회사는 아키텍처 변경 트윗 외에 근본 원인에 대한 세부 정보를 공개하지 않았고, 사용자 영향 수치도 밝히지 않았다. 이 사건은 트위터의 인수 후 불안정성에 대한 공개 기록의 일부가 되었으며, 이후의 서비스 흔들림과 함께 인프라 유지 관리 역량이 너무 깊이 삭감되었다는 증거로 인용되었다.