랙스페이스의 댈러스 데이터센터, 8일 만에 두 번 전력 공급 중단 — 수천 개 사이트 먹통

2009년 6월 29일, 댈러스 인근에 위치한 랙스페이스의 주력 호스팅 장소인 그레이프바인 데이터센터에서 전력 장애가 발생해 고객 서버가 하루 중 일부 시간 동안 다운되었습니다. 저스틴 팀버레이크와 미셸 맬킨이 운영하는 페이지, 이벤트 사이트인 이벤트브라이트를 포함한 고객 사이트들이 대거 먹통이 되었습니다. 이 장애는 랙스페이스 자체 시스템에도 영향을 미쳤습니다. 회사는 처음에는 이메일 답변이나 업데이트 게시를 할 수 없었고, 고객들은 자신들만 영향을 받은 것인지 확인하기 위해 트위터로 몰려들었습니다.

랙스페이스는 SEC에 재무적 타격을 공시했습니다. 일회성 서비스 크레딧은 잠정적으로 250만~350만 달러로 추정되었습니다. 회사의 블로그 사과문은 장애 원인을 '다양한 전력 인프라 문제'로 돌렸고, 테크크런치는 그 경과를 결국 백업 시스템 자체까지 멈추게 한 정전으로 요약했습니다. 회사는 고객에게 실행 계획을 약속했습니다. '앞으로 이런 일이 재발하지 않도록 막기 위한 실행 계획을 마련할 책임이 있습니다.'

8일 후인 7월 7일, 같은 시설에서 다시 전력이 끊겼습니다. 이번에는 전기 연결 고장으로 일부 서버의 네트워크 연결이 잠시 끊겼습니다. 두 번째 장애가 발생한 뒤에야 랙스페이스는 발전기에 대한 프로덕션 부하 테스트를 완료했고, 이를 통해 문제가 해소되었으며 데이터센터가 정상 운영 상태로 돌아왔다고 밝혔습니다.

하루 중 일부 시간 동안 고객 서버를 다운시킨 정전에 대해 SEC에 공시된 일회성 서비스 크레딧 250만~350만 달러입니다.

그레이프바인 시설의 백업 전력 계통이 주 전력 공급과 함께 멈춰 섰고, 서류상 존재하던 이중화는 정작 필요할 때 작동하지 않았습니다.

발전기와 UPS 장치는 첫 번째 장애 이후 점검을 받았지만, 두 번째 장애가 발생한 뒤에야 프로덕션 부하 테스트를 거쳤습니다. 즉 수정 조치는 장애보다 8일 늦었습니다.

랙스페이스 자체 지원 및 상태 채널도 같은 피해 범위에 포함되었습니다. 내부 시스템이 손상된 상태에서 회사는 첫 한 시간 동안 고객에게 대응할 수 없었습니다.

프로덕션 부하를 한 번도 감당해 본 적 없는 백업 전력은 이중화가 아니라 가설일 뿐입니다. 랙스페이스는 8일 사이 두 번째 장애가 발생한 뒤에야 발전기에 대한 프로덕션 부하 테스트를 실시했습니다.

랙스페이스는 SEC 공시에서 250만~350만 달러의 크레딧 추정치를 밝히고 블로그에 사과했으며 실행 계획을 약속했습니다. 7월 7일의 재발로 더 신속한 소통이 강제되었고, 회사는 블로그와 트위터를 통해 계속 상황을 알렸으며, 7월 8일에는 발전기에 대한 프로덕션 부하 테스트를 완료하고 그레이프바인 시설을 정상 운영 상태로 복귀시켰다고 발표했습니다. 이 시설은 이미 2007년 11월에도 대규모 장애를 겪은 바 있습니다. 한 고객은 회사 블로그에 '자체 내부 운영에 대한 이중화 부족은 매우 우려스럽습니다'라고 썼습니다.