案例库 · 工程与运营 · 技术决策 · 2022
Kakao 把韩国的通讯跑在一个数据中心上——一场火让全国断线
SK C&C 板桥数据中心的一场火让 KakaoTalk 和 Kakao Pay 宕机近一天。Kakao 没有备份;同一栋楼的 Naver 几小时就恢复了。
Kakao · 2022
怎么回事
Kakao 运营着韩国大部分在线日常生活。它的 KakaoTalk 通讯软件在一个 5100 万人的国家有 4300 万月活用户,它的 Kakao Pay 和 Kakao T 应用处理支付和叫车。其中大部分通过一个数据中心运行:SK C&C 在首尔以南的板桥的设施,它与竞争对手 Naver 共用。
2022 年 10 月 15 日下午,SK C&C 大楼发生火灾。为了安全切断了电源,大火花了约八个小时才扑灭。KakaoTalk、Kakao Pay 和 Kakao T 宕机并持续了近一天,扰乱了全国的支付、在线交易和叫车——正如一份报告所说,影响了几乎所有行业,甚至金融和交通。
火是触发因素,但宕机是架构问题。专家指责 Kakao 没有为全国最大的通讯软件制定灾难恢复计划或备份站点;他们说,如果它保留了一个热站点,中断会很快解决。证据就在隔壁:Naver,在同一栋楼里,有一个异地备份,几小时内就恢复了服务。Kakao 说它没有预料到停电,复制这么多数据需要时间;它宣布正在安山建设自己的数据中心。
这个对比使教训 unmistakable。两家公司在同一栋楼,同一场火——一家几小时就恢复了,另一家宕机了一天。区别是一个投资了的备份站点和另一个没有的。对于一个国家依赖的服务,冗余不是可以推迟的开支;它是成为必需品的代价。
为什么会这样
- Kakao 将一个必需的国家服务集中在一个没有灾难恢复站点的数据中心,所以一次故障同时让通讯、支付和交通宕机
- 火是触发因素,但长达一天的宕机是没有备份的结果;Naver,在同一栋楼里,有异地备份,几小时就恢复了
- 一个 5100 万人中 4300 万人使用的服务是基础设施;宕机是国家中断,不是技术故障,运营商要为此负责
- 灾难恢复看起来像不必要的成本,直到需要它的那一天;Kakao 的宕机就是那一天,建设自己的数据中心就是承认
教训
冗余是成为必需品的代价。Kakao 把国家的通讯跑在一个没有备份的数据中心上;一场火切断了电源,它宕机了一天。Naver 有备份,几小时就恢复了。
资料来源
- The Korea Times — Fire at data center causes unprecedented massive service disruption (16 Oct 2022)
- The Korea Times — Kakao, Naver suffer service disruption due to fire at data center (15 Oct 2022)
- Yonhap — Kakao, Naver services disrupted by data center fire (15 Oct 2022)
- w.media — Fire in data center: South Korea's tech giants Kakao and Naver go offline more than 8 hours
发现哪里写错了?告诉我们。
类似的案例
这家公司栽倒的地方,别处有人漂亮地解开过。 第二意见 →

Comments · 0
登录 后就能评论。