GitLab 删掉了自己的生产数据库，然后眼看着五层备份全部失效

2017 年 5 月 18 日，一名 GitLab 员工试图删除本地开发环境里的一个测试数据库。由于一个复制粘贴错误和一个配置错误的 SSH 会话，他对正在运行的生产 PostgreSQL 实例执行了 `drop database` 命令。几秒钟内，430 GB 用户数据——包括代码仓库、议题和合并请求——被永久抹除。

公司的灾难恢复计划依赖五个不同的备份层：每日快照、持续复制、异地归档，以及其他。在一场灾难性的连环失效中，每一层都被证明已损坏或不完整。最近一份可靠备份是四天前的，意味着数千名用户三天的工作消失得无影无踪。

前所未有地，首席技术官席德·西布兰迪在 Twitch 上直播了六个多小时的恢复过程。工程师通宵工作，从缓存的 API 响应、浏览器历史，以及用户 fork 了项目的 GitHub 镜像里，手动重建数据。虽然大部分被找回，这一事件暴露了公司管理自身基础设施时的严重脆弱。