フェイスブック、たった1つの不適切な保守コマンドでインターネットから6時間締め出される

2021年10月4日15時39分（UTC）、フェイスブックとその上のすべて——インスタグラム、WhatsApp、メッセンジャー、Oculus——が世界中でダウンした。その後6〜7時間、数十億人の人々は単純にそれらにアクセスできなかった。原因はサイバー攻撃ではなかった。定例保守作業中に、あるエンジニアがフェイスブックのグローバルバックボーンネットワークの容量を評価するためのコマンドを実行した。そのコマンドは誤作動し、フェイスブックの全データセンターを一度にそのバックボーンから誤って切断してしまった。

設計が、1つの不適切なコマンドを大惨事に変えた。フェイスブックは自社のDNSサーバーを運用しており、それらのサーバーはデータセンターとの接続を失うとBGP経路——インターネットのアドレス帳の項目——を撤回するよう設定されていた。そのためバックボーンがダウンすると、DNSサーバーは忠実にインターネットの残りの部分に対してフェイスブックのアドレスはもはや存在しないと伝えた。フェイスブックは事実上、自らをインターネットから削除してしまい、その撤回はあまりに徹底的に連鎖したため、フェイスブック自身のツールでさえ修正のために容易に到達できなかった。

締め出しはほとんど滑稽なほど完全だった。フェイスブックの内部システムもダウンした。従業員は外部メールを送れず、社内ディレクトリにアクセスできず、そして——見出しを賑わせたある詳細によれば——同じネットワークに依存していたセキュリティバッジでオフィスビルや会議室を開けることもできなかった。復旧には、チームがサンタクララのデータセンターに物理的に入り、サーバーを手動でリセットする必要があった。サービスはUTC約21時50分から22時50分の間に徐々に復旧した。フェイスブックの株価はその日ほぼ5%下落し、マーク・ザッカーバーグの個人資産は60億ドル以上減少した。

DNSサーバーは接続を失うと経路を自動撤回したため、障害は連鎖した。復旧には物理的なアクセスが必要で、6時間と6000万ドル以上を要した。

十分な安全策なしに実行された1つの保守コマンドが、フェイスブックの全データセンターを一度にバックボーンから切断した。

DNSサーバーはデータセンターを失うとBGP経路を撤回するよう設計されていたため、障害は自動的にフェイスブックをインターネットのルーティングテーブルから消し去った。

復旧ツールとアクセス（建物の物理的なバッジを含む）は、故障したのと同じネットワークに依存していたため、エンジニアは修正作業から締め出された。

システムに到達して変更を素早く元に戻すための帯域外の経路が存在しなかった。

復旧経路は、たった今壊れたものに依存しないように構築せよ。DNS、認証、ドアのバッジがすべて、たった今ダウンさせたネットワーク上で動いているなら、あなたは自分自身を締め出してしまっている。

フェイスブックのエンジニアリングチームは翌日、詳細な説明を公開し、同社は謝罪した。この障害——2008年以来最悪のもの——は推定6000万ドル以上の広告収入を失わせ、時価総額を数十億ドル単位で削り、一時的にユーザーを競合プラットフォームへと誘導した。これはネットワーク工学における教科書的な事例となった。単一障害点の危険性、復旧すべきシステムに依存する復旧システム、そして1つの無防備なコマンドが人類の3分の1が利用するサービスをいかにダウンさせ得るか、という事例である。