事件經過
2018年7月20日,北京青博數控科技有限公司(微信公眾號「前沿數控」背後的初創企業,一家機械行業媒體)租用的一台騰訊雲CVM的作業系統雲端硬碟發生檔案系統中繼資料損毀。騰訊雲將其歸因於物理硬碟韌體錯誤所導致的靜默錯誤:讀回的資料與寫入的資料不一致。檔案系統與廠商專家均無法復原資料。該客戶在平台上使用八個月後,失去了一切,包括備份。
這起糾紛於8月5日公開,當時該客戶在微博上發文。騰訊發布回應:退還實際支出3,569元人民幣——這是其服務協議允許的上限——另加132,900元人民幣現金或代金券,並指出這是該客戶歷來支付總額的37倍。索賠損失為1,101.6萬元人民幣。騰訊表示,該客戶還要求投資與流量支援;客戶則稱,是在被告知復原無望之後才提出這些要求。次日,騰訊承認員工違反了資料遷移規則,並宣布改進措施——但沒有立即的解決方案。
業界工程師對雙方都做了剖析。該客戶購買的是僅有系統碟的單一CVM——沒有資料碟、沒有負載平衡、沒有雲端外備份——而騰訊大力宣傳的99.9999999%資料可靠性與三副本儲存適用於雲端資料碟,並未明確適用於作業系統碟。該客戶創辦人反駁稱,騰訊以三副本宣傳十億分之一的故障機率,因此他相信無需額外備份。這起事件成為中國雲端運算關於可靠性數字實際涵蓋範圍的教科書式爭論。
代價
一家媒體初創企業失去了包括備份在內的全部資料;其索賠1,100萬元人民幣(約160萬美元);騰訊提出退還3,569元人民幣並加132,900元人民幣——約為該客戶雲端支出的37倍
原因
騰訊在韌體有錯誤的硬碟上執行資料遷移操作,後來承認員工違反了操作規則——這正是靜默錯誤背後的不當操作。
所宣傳的99.9999999%可靠性與三副本儲存並不涵蓋單一CVM系統碟,因此這個標題數字製造了架構無法支撐的信心。
合約將責任上限設定在接近已付費用——約為索賠損失的1%——而客戶沒有保留獨立備份,導致財務與資料兩方面都沒有退路。
賠償方案在損失發生十四天後才到來,且被解讀為敷衍,將一次營運失誤轉化為中國第二大公有雲的公開信任危機。
教訓
九個九的可靠性是行銷數字,不是架構:一台VM、一個作業系統碟、沒有備份,會把一次罕見故障變成全損。要確認SLA涵蓋什麼——以及合約賠付什麼。
後續
騰訊將所有帶有該韌體錯誤的硬碟下線,其8月7日的聲明宣布營運改進,同時承認資料遷移期間存在違規行為。金額差距——提出136,469元人民幣對比索賠1,101.6萬元人民幣——從未公開調和。此案成為中國雲端產業的兩行教訓:無論SLA怎麼說,都要在供應商之外保留備份;並將可靠性數字理解為涵蓋特定產品,而非你的架構。騰訊雲保住了第二的位置;每當供應商宣傳九個九時,此案仍會被提起。
追溯依據
參考來源
- Tencent Cloud user claims $1.6 million compensation for data loss TechNode · technode.com ·
- Tencent Cloud says 'improper operations' led to data loss for client as it seeks to implement improvements South China Morning Post · scmp.com ·
- 腾讯云故障致客户数据丢失,遭千万索赔 36Kr (reprint of Yicai reporting) · 36kr.com ·