텐센트 클라우드, 펌웨어 버그로 고객의 전체 데이터 유실… 청구액의 1%만 보상 제안

2018년 7월 20일, 베이징 칭보 데이터 컨트롤 테크놀로지(Beijing Qingbo Data Control Technology)가 임대한 단일 텐센트 클라우드 CVM의 운영체제 클라우드 디스크에서 파일시스템 메타데이터가 손상되었다. 이 회사는 기계 산업 전문 매체인 위챗 미디어 계정 첸옌수쿵(前沿数控)을 운영하는 스타트업이다. 텐센트 클라우드는 원인을 물리 하드드라이브의 펌웨어 버그로 인한 무증상 오류로 돌렸다. 즉, 기록된 데이터와 다시 읽어들인 데이터가 달랐다는 것이다. 파일시스템 및 벤더 전문가들도 데이터를 복구하지 못했다. 플랫폼을 이용한 지 8개월 만에 고객은 백업을 포함한 모든 것을 잃었다.

이 분쟁은 8월 5일 고객이 웨이보에 글을 올리면서 공론화되었다. 텐센트는 응답을 발표했다. 실제 지출액 중 3,569위안을 환불하고(서비스 계약이 허용하는 최대치), 여기에 13만 2,900위안을 현금 또는 크레딧으로 제공하겠다는 것이었다. 텐센트는 이 금액이 고객이 지금까지 지불한 전액의 37배라고 밝혔다. 청구된 손실액은 1,101만 6,000위안이었다. 텐센트는 고객이 투자와 트래픽 지원도 요구했다고 말했고, 고객은 복구가 불가능하다는 말을 들은 뒤에야 그런 요구를 했다고 말했다. 다음 날 텐센트는 직원들이 데이터 이전 규칙을 위반했다고 인정하고 개선 방안을 발표했지만, 즉각적인 해결책은 내놓지 않았다.

업계 엔지니어들은 양측을 모두 뜯어보았다. 고객은 시스템 디스크만 있는 단일 CVM을 구매했을 뿐 데이터 디스크도, 로드 밸런싱도, 클라우드 외부 백업도 없었다. 그리고 텐센트가 대대적으로 광고한 99.9999999%의 데이터 신뢰성과 3중 복제 저장은 클라우드 데이터 디스크에 적용되는 것이지, 운영체제 디스크에 명확히 적용되는 것은 아니었다. 고객 측 창업자는 텐센트가 3중 복제와 함께 10억 분의 1의 장애 확률을 마케팅했기 때문에 추가 백업이 필요 없다고 믿었다고 반박했다. 이 사건은 중국 클라우드 컴퓨팅 업계에서 신뢰성 수치가 실제로 무엇을 보장하는지를 둘러싼 교과서적인 논쟁이 되었다.

한 미디어 스타트업이 백업을 포함한 모든 데이터를 잃었다. 청구액은 1,100만 위안(약 160만 달러)이었고, 텐센트는 3,569위안 환불에 13만 2,900위안을 더해 제안했다. 이는 고객의 클라우드 지출의 약 37배에 해당한다.

텐센트는 펌웨어에 버그가 있는 드라이브에서 데이터 이전 작업을 수행했고, 이후 직원들이 운영 규칙을 위반했다고 인정했다. 이것이 무증상 오류 뒤에 있던 부적절한 작업이었다.

광고된 99.9999999% 신뢰성과 3중 복제 저장은 단일 CVM 시스템 디스크를 보장하지 않았기 때문에, 대표 수치가 아키텍처가 뒷받침할 수 없는 신뢰를 만들어냈다.

계약은 책임을 지불한 요금 근처로 제한했고(청구된 손실의 약 1%), 고객은 독립적인 백업을 두지 않아 재정적·데이터적 대비책이 전혀 없었다.

보상안은 손실 발생 14일 후에 나왔고 무성의하게 받아들여져, 운영 실패가 중국 2위 퍼블릭 클라우드에 대한 공공 신뢰 위기로 번졌다.

99.9999999% 신뢰성은 마케팅 수치일 뿐 아키텍처가 아니다. VM 하나, 운영체제 디스크 하나, 백업 없음은 기이한 장애 하나를 전면적 손실로 바꾼다. SLA가 무엇을 보장하는지, 그리고 계약이 얼마를 지급하는지 확인해야 한다.

텐센트는 버그가 있는 펌웨어가 설치된 모든 드라이브를 오프라인으로 전환했고, 8월 7일 성명에서 데이터 이전 중 규칙 위반을 인정하면서 운영 개선을 발표했다. 제안된 13만 6,469위안과 청구된 1,101만 6,000위안 사이의 금액 격차는 공개적으로 해소되지 않았다. 이 사건은 중국 클라우드 업계의 두 줄짜리 교훈이 되었다. SLA가 무엇을 말하든 제공업체 외부에 백업을 두고, 신뢰성 수치는 특정 제품을 보장하는 것이지 자신의 아키텍처를 보장하는 것이 아니라고 읽어야 한다는 것이다. 텐센트 클라우드는 2위 자리를 유지했고, 이 사건은 제공업체들이 99.9999999%를 마케팅할 때마다 여전히 회자된다.