本文へ移動
雑学書庫好奇心が集まる場所
日本語

わざとサーバーを止める理由、カオスエンジニアリング(Chaos Engineering)

車のトランクにスペアタイヤが積んであれば、道でパンクしたときに本当にタイヤを交換できるでしょうか。一度もやったことがなければ、ジャッキをどこに掛ければよいのかさえ分からないはずです。無数のサーバーで動くインターネットサービスも同じで、予備の機器を備えておくことと、実際の故障の中で持ちこたえることはまったく別の問題です。そこで一部の企業は、正常に動いているサービスにわざと障害を起こしてみます。この方法を「カオスエンジニアリング(Chaos Engineering)」と呼びます。

カオスエンジニアリングとは、簡単に言えば「システムにわざと障害を起こす実験によって、予測しにくい混乱の中でもシステムが持ちこたえられるという確信を積み上げる方法」を意味します。この方法は2011年、クラウドへの移行を進めていたNetflix(ネットフリックス)が、実際にサービス中のサーバーを無作為に停止させるツールを紹介したことで広く知られるようになりました。

本資料では、Netflixがサーバールームに「サル」を放った理由、カオス実験がたどる4つのステップ、サルの軍団へと広がった実験の範囲、そしてシステムを安全に壊すための原則まで、順に見ていきます。


故障を待たずに先に起こしてみる工学

1. Netflixがサーバールームにサルを放った理由

日差しの明るい住宅の私道で、男性が片膝をつき、ホイールレンチで銀色の乗用車の後輪をゆるめてスペアタイヤに交換している様子

2008年8月、Netflixは自社データセンターのデータベースが大きく破損する事故により、3日間DVDを発送できませんでした。これをきっかけにNetflixは同じ年からサービスをアマゾン ウェブ サービス(AWS)のクラウドへ移し始め、多数のサーバーの一部はいつでも故障しうるという前提でシステムを設計するようになりました。

(1) スペアタイヤだけでは足りない
2011年7月、Netflixの技術ブログは、スペアタイヤを持っているからといってパンクに対処できる保証はないと書きました。本当に備えるには家の前でわざとタイヤに穴を開けて交換する練習をする必要があり、現実には高くつくその練習も、クラウドならほとんどコストをかけずに自動で行えるというのです。

(2) カオスモンキーの登場
そうして作られたツールがカオスモンキー(Chaos Monkey)です。実際にサービス中のサーバーを無作為に選んで停止させ、それでも利用者が何の影響もなくサービスを使えるかを確かめます。名前はデータセンターに飛び込んだサルが機器を手当たり次第に壊す姿に由来し、2012年にはソースコードがApache 2.0ライセンスで公開されました。

(3) あえて業務時間に壊す
カオスモンキーは、エンジニアが見守る平日の業務時間に動きました。問題が起きてもすぐに対応できる時間帯に弱点を見つけ出し、次は人が手を出さなくても自動で復旧するように直すためでした。


2. カオス実験がたどる4つのステップ

緑と青の表示灯が並ぶデータセンターのサーバーラック通路で、右側のラック1台だけがオレンジと赤の警告灯をつけている様子

カオスエンジニアリングはやみくもにサーバーを壊すことではなく、科学実験のように仮説を立てて検証するプロセスです。Netflixのエンジニアたちがまとめた「カオスエンジニアリングの原則(Principles of Chaos Engineering)」は、実験を次の4つのステップで説明しています。

カオスエンジニアリングのインフォグラフィック:上部に定常状態を定義(波形グラフ)、仮説を立てる(電球)、障害を注入(稲妻に打たれたサーバー)、差を確認(虫眼鏡)の4ステップが矢印でつながり、下部ではサーバー3台の対照群と1台に稲妻が落ちた実験群のグラフを等号で比べ、左下の的のアイコンが爆発半径の最小化を表す図
カオスエンジニアリング実験の4つのステップと、障害を注入した実験群とそのままにした対照群の定常状態を比べる方法を示したインフォグラフィックです。
  • 定常状態(Steady State):スループット、エラー率、応答遅延のように、システムが普段正常に動いていることを示す測定可能な指標です。
  • 仮説(Hypothesis):障害を注入した実験群とそのままにした対照群のどちらでも、定常状態がそのまま保たれるという予測です。
  • 障害注入(Fault Injection):サーバーが停止したりネットワーク接続が切れたりするなど、現実に起こりうる出来事をわざと作り出すことです。
  • 対照群と実験群(Control Group and Experimental Group):2つのグループの定常状態に差が生じるかを調べ、仮説を覆す証拠があるかを確認します。

この実験は、システム内部を一つひとつ調べる代わりに、外から見える結果を観察する点が特徴です。2つのグループの差が見つからないほど、システムが混乱に耐えられるという確信は強まり、差が見つかれば、本物の障害が起きる前に直すべき弱点を発見したことになります。


3. サルの軍団へと広がった実験

上空から見下ろした大規模データセンターの敷地で、緑の野原の間に3つの建物群が離れて並んでいる様子

カオスモンキーが成果を上げると、Netflixはさまざまな種類の障害を受け持つツールを次々に作り、それらを「シミアンアーミー(Simian Army)」、つまりサルの軍団と呼びました。実験の範囲もサーバー1台からデータセンター、さらには地域全体へと広がりました。

(1) 遅くなるのも障害
レイテンシーモンキー(Latency Monkey)は、サーバー間の通信にわざと遅延を加え、サービスが遅くなる状況を再現します。遅延をとても長くすれば、実際にサーバーを止めなくても、サービスが止まったのと同じ状況を試すことができます。

(2) ルール違反のサーバーと使われていない資源の整理
コンフォーミティモンキー(Conformity Monkey)は、オートスケーリンググループに属していないなどベストプラクティスに反するサーバーを見つけて停止させ、ジャニターモンキー(Janitor Monkey)は使われていない資源を見つけて片づけ、クラウドをきれいに保ちます。

(3) データセンターや地域全体を止める実験
カオスゴリラ(Chaos Gorilla)はAWSのアベイラビリティーゾーン(Availability Zone)1つが丸ごと止まった状況を再現し、カオスコング(Chaos Kong)はリージョン(Region)全体を止めます。Netflixがある地域のサービスを別の地域へ切り替えるには、当初約50分かかりましたが、のちに約6分まで短くなりました。


4. システムを安全に壊すための原則

消防訓練場で、ヘルメットと防火服を身につけた消防士3人が、鉄製の訓練施設の中で管理された炎にホースで放水している様子

わざと故障を起こすという発想は消防訓練に似ています。実際、2003年にアマゾンのジェシー・ロビンス(Jesse Robbins)は消防士の訓練から着想を得て、決まった日程でわざと大きな障害を起こす「ゲームデー(Game Day)」を作りました。ただし、訓練用の火が決められた区域の外へ燃え広がってはならないように、カオス実験にも守るべき原則があります。

(1) 爆発半径を最小にする
実験が利用者に与えうる被害をできるだけ小さく抑えることを「爆発半径(Blast Radius)を最小化する」と言います。小さな範囲から始めて問題がなければ少しずつ広げ、異常が見えたらすぐに実験を止められなければなりません。

(2) 本番環境で、自動で
システムは環境やトラフィックによって振る舞いが変わるため、原則は実際の本番環境で実験することを勧めています。また、人の手で行う実験は長く続けにくいので、実験と結果の分析を自動化して継続的に繰り返すよう求めています。

(3) 故障だけでなく思いがけない出来事まで
ハードウェアの故障やソフトウェアのエラーだけでなく、アクセスが急に押し寄せるような故障ではない出来事も実験の対象です。影響が大きいものや起こりやすいものから優先順位を決めて試します。

カオスエンジニアリングは、障害をなくそうとする努力というより、障害は必ず起こるという事実を受け入れ、前もって経験しておこうとする姿勢から出発します。故障は避けられないのだから、いっそ自分たちが選んだ時間に先に経験しておこうという単純な考え、それがカオスエンジニアリングを理解する第一歩です。

この記事をPDFで手元に

今読んでいる記事の、選択した言語の版を購入できます。

US$1.00
選択中の言語: 日本語

US$1.00 · 1記事・1言語

購入方法を選んでください

会員として購入
  • どの端末でもログインすれば再ダウンロードできます
  • 購入履歴に保存されます
会員登録せずに購入
  • 登録不要ですぐに支払えます
  • このブラウザで再ダウンロードできます
  • 他の端末では、購入後に表示される専用リンクを使います
  • 後でこのブラウザで会員としてログインすると、購入がアカウントに移ります
  • リンクをなくし、ブラウザのCookieを削除すると再ダウンロードできない場合があります

購入履歴を確認しています…

販売者情報

商号
아카이지
代表者
안호원
事業者登録番号
530-02-04118
通信販売届出番号
2026-경기군포-0626
届出先
경기도 군포시
事業所所在地
경기도 군포시 산본천로 119-9, 1109동 405호 (산본동, 주공아파트)
ホスティング提供者
카페24(주)
お問い合わせメール
sgjjojo@gmail.com
お問い合わせ電話番号
010-4194-0821

事業者情報の確認(韓国公正取引委員会)