한 엔지니어의 설정 변경이 트위터 API를 망가뜨리다, 해고로 SRE 한 명만 남은 상황에서

Ars Technica는 2023년 3월 7일 Platformer를 인용해, 전날 트위터의 장애로 약 한 시간 동안 링크와 다른 기능들이 작동하지 않았으며 이는 트위터 API의 무료 접근을 종료하려는 프로젝트의 변경 이후 발생했다고 보도했다. 트위터는 '의도치 않은 결과를 낳은 내부 변경'에서 비롯됐다고 밝혔다. 일론 머스크는 '아무 이유 없이 극도로 취약한' 코드를 탓했다.

Platformer는 유료 API 프로젝트에 사이트 신뢰성 엔지니어(SRE)가 단 한 명만 배치되어 있었으며, 월요일 이 엔지니어가 '잘못된 설정 변경'을 해 '사실상 트위터 API를 망가뜨렸고', 그 여파가 연쇄적으로 많은 내부 도구들까지 중단시켰다고 보도했다. 공개 오류 메시지는 사용자의 API 요금제에 해당 엔드포인트 접근 권한이 포함되어 있지 않다고 표시했고, 이는 유료 접근에 대한 추측을 불러일으켰다. 한 직원은 이번 장애가 1월 23일 이후 여섯 번째 주요 장애이며 사람들이 이에 '무감각해졌다'고 말했다.

Ars는 더 근본적인 문제는 비용 절감으로 직원이 약 7,500명에서 2,000명 미만으로 줄었고, 정규직 엔지니어는 550명 미만이라고 전했다. Washington Post 기사에 따르면 머스크의 인수 전에 제품 변경을 사전 검토하던 위험 평가 팀이 해고되었다. 한 직원은 옛 트위터의 기술 부채가 있었다는 점에 동의했고, 다른 직원은 '회사의 90퍼센트를 해고하면 이렇게 되는 것'이라며 머스크가 빠른 변경을 요구하고 있었다고 말했다.

약 한 시간 동안 링크와 기능들이 작동하지 않았으며, Platformer에 따르면 1월 23일 이후 여섯 번째 주요 장애였다.

Platformer에 따르면 유료 API 프로젝트에는 사이트 신뢰성 엔지니어가 단 한 명만 배치되어 있었다.

트위터 직원은 약 7,500명에서 2,000명 미만으로 줄었고, 엔지니어는 550명 미만이었다.

Washington Post에 따르면 예상되는 문제에 대비해 제품 변경을 검토하던 팀이 해고되었다.

직원들에 따르면 머스크는 주요 변경의 신속한 실행을 요구하고 있었고, 기존 코드는 기술 부채로 취약했다.

위험한 변경을 검토하고 운영하는 직원을 줄이면 평범한 설정 편집도 위험해진다. 한 사람이 안전망이 될 수는 없다.

머스크는 전체 코드베이스에 '완전한 재작성'이 필요하다고 말했다. 직원들은 그러한 장애가 충분히 빈번해져 무감각해졌다고 말했다. Ars가 보도할 당시 트위터는 더 자세한 설명을 내놓지 않았다.