
판자를 모두 바꿔도 같은 배일까, 테세우스의 배(Ship of Theseus)

육각 돌기둥은 누가 깎았을까, 주상절리(Columnar Jointing)
자동차 트렁크에 스페어타이어가 있다고 해서 길 위에서 펑크가 났을 때 정말 바퀴를 갈아 끼울 수 있을까요? 한 번도 해 보지 않았다면 잭을 어디에 받쳐야 하는지부터 막막할 것입니다. 수많은 서버로 움직이는 인터넷 서비스도 마찬가지여서, 예비 장비를 갖춰 두는 것과 실제 고장 속에서 버텨 내는 것은 전혀 다른 문제입니다. 그래서 어떤 기업들은 멀쩡히 돌아가는 서비스에 일부러 고장을 일으켜 보는데, 이런 방법을 ‘카오스 엔지니어링(Chaos Engineering)’이라고 부릅니다.
카오스 엔지니어링이란 쉽게 말해 ‘시스템에 일부러 장애를 일으키는 실험으로, 예측하기 어려운 혼란 속에서도 시스템이 버틸 수 있다는 확신을 쌓는 방법’을 의미합니다. 이 방법은 2011년 클라우드로 옮겨 가던 넷플릭스(Netflix)가 실제 서비스 중인 서버를 무작위로 꺼 버리는 도구를 소개하면서 널리 알려졌습니다.
본 자료에서는 넷플릭스가 서버실에 ‘원숭이’를 풀어 놓은 이유, 카오스 실험이 거치는 네 단계, 원숭이 군단으로 커진 실험의 범위, 그리고 시스템을 안전하게 부수기 위한 원칙까지 차례로 살펴보겠습니다.
고장을 기다리지 않고 먼저 만들어 보는 공학
1. 넷플릭스가 서버실에 원숭이를 풀어 놓은 이유

2008년 8월, 넷플릭스는 자체 데이터센터의 데이터베이스가 크게 손상되는 사고로 사흘 동안 DVD를 발송하지 못했습니다. 이 일을 계기로 넷플릭스는 같은 해부터 서비스를 아마존 웹 서비스(AWS)의 클라우드로 옮기기 시작했고, 수많은 서버 가운데 일부는 언제든 고장 날 수 있다는 사실을 전제로 시스템을 설계하게 되었습니다.
(1) 스페어타이어만으로는 부족하다
2011년 7월 넷플릭스 기술 블로그는 스페어타이어를 가지고 있다고 해서 펑크에 대처할 수 있다는 보장은 없다고 썼습니다. 정말 대비하려면 집 앞에서 일부러 타이어에 구멍을 내고 갈아 끼우는 연습을 해 봐야 하는데, 현실에서는 비싼 이 연습을 클라우드에서는 거의 비용 없이 자동으로 할 수 있다는 것입니다.
(2) 카오스 몽키의 등장
그렇게 만든 도구가 카오스 몽키(Chaos Monkey)입니다. 실제 서비스 중인 서버를 무작위로 골라 꺼 버리고, 그래도 고객이 아무 영향 없이 서비스를 이용하는지 확인합니다. 이름은 데이터센터에 뛰어든 원숭이가 장비를 마구 망가뜨리는 모습에서 왔으며, 2012년에는 소스 코드가 아파치 2.0 라이선스로 공개되었습니다.
(3) 일부러 업무 시간에 고장 내기
카오스 몽키는 엔지니어들이 지켜보는 평일 업무 시간에 작동했습니다. 문제가 생기면 곧바로 대응할 수 있는 시간에 약점을 찾아내고, 다음에는 사람이 손대지 않아도 저절로 복구되도록 고치기 위해서였습니다.
2. 카오스 실험이 거치는 네 단계

카오스 엔지니어링은 무작정 서버를 부수는 일이 아니라, 과학 실험처럼 가설을 세우고 검증하는 과정입니다. 넷플릭스 엔지니어들이 정리한 ‘카오스 엔지니어링의 원칙(Principles of Chaos Engineering)’은 실험을 다음 네 단계로 설명합니다.

- 정상 상태(Steady State): 처리량, 오류율, 응답 지연처럼 시스템이 평소에 잘 돌아가고 있음을 보여 주는 측정 가능한 지표입니다.
- 가설(Hypothesis): 장애를 넣은 실험군과 그대로 둔 대조군 모두에서 정상 상태가 그대로 유지될 것이라는 예측입니다.
- 장애 주입(Fault Injection): 서버가 꺼지거나 네트워크 연결이 끊기는 것처럼 현실에서 일어날 법한 사건을 일부러 만들어 넣는 일입니다.
- 대조군과 실험군(Control Group and Experimental Group): 두 집단의 정상 상태에 차이가 생기는지 살펴 가설을 반박할 증거가 있는지 확인합니다.
이 실험은 시스템 내부를 일일이 들여다보는 대신 겉으로 드러나는 결과를 지켜본다는 점이 특징입니다. 두 집단의 차이를 찾지 못할수록 시스템이 혼란을 견딜 수 있다는 확신이 커지고, 차이를 찾아낸다면 실제 장애가 터지기 전에 고칠 약점을 발견한 셈입니다.
3. 원숭이 군단으로 커진 실험

카오스 몽키가 성과를 거두자 넷플릭스는 여러 종류의 장애를 맡는 도구를 차례로 만들고 이를 ‘시미언 아미(Simian Army)’, 곧 원숭이 군단이라고 불렀습니다. 실험의 범위도 서버 한 대에서 데이터센터, 나아가 지역 전체로 넓어졌습니다.
(1) 느려지는 것도 장애다
레이턴시 몽키(Latency Monkey)는 서버 사이의 통신에 일부러 지연을 넣어 서비스가 느려지는 상황을 흉내 냅니다. 지연을 아주 길게 주면 서버를 실제로 끄지 않고도 서비스가 멈춘 것과 같은 상황을 시험할 수 있습니다.
(2) 규칙을 어긴 서버와 쓰지 않는 자원 정리
컨포미티 몽키(Conformity Monkey)는 자동 확장 그룹에 속하지 않는 등 모범 사례를 어긴 서버를 찾아 끄고, 재니터 몽키(Janitor Monkey)는 쓰지 않는 자원을 찾아 치워 클라우드를 깔끔하게 유지합니다.
(3) 데이터센터와 지역 전체를 끄는 실험
카오스 고릴라(Chaos Gorilla)는 AWS의 가용 영역(Availability Zone) 하나가 통째로 멈춘 상황을 흉내 내고, 카오스 콩(Chaos Kong)은 리전(Region) 전체를 끕니다. 넷플릭스가 한 지역의 서비스를 다른 지역으로 옮기는 데는 처음에 약 50분이 걸렸지만, 이후 약 6분으로 줄었습니다.
4. 시스템을 안전하게 부수는 원칙

일부러 고장을 낸다는 발상은 소방 훈련과 닮았습니다. 실제로 2003년 아마존의 제시 로빈스(Jesse Robbins)는 소방관 훈련에서 영감을 얻어, 정해진 일정에 일부러 큰 장애를 일으키는 ‘게임 데이(Game Day)’를 만들었습니다. 다만 훈련용 불이 정해진 구역 밖으로 번지면 안 되듯, 카오스 실험에도 지켜야 할 원칙이 있습니다.
(1) 폭발 반경을 최소화한다
실험이 고객에게 줄 수 있는 피해를 최소한으로 줄이는 것을 ‘폭발 반경(Blast Radius)을 최소화한다’고 말합니다. 작은 범위에서 시작해 문제가 없을 때 조금씩 넓히고, 이상이 보이면 곧바로 실험을 멈출 수 있어야 합니다.
(2) 실제 운영 환경에서, 자동으로
시스템은 환경과 트래픽에 따라 다르게 움직이므로 원칙은 실제 운영 환경에서 실험할 것을 권합니다. 또 사람이 손으로 하는 실험은 오래 이어 가기 어려우므로 실험과 결과 분석을 자동화해 꾸준히 반복하라고 말합니다.
(3) 고장뿐 아니라 뜻밖의 사건까지
하드웨어 고장과 소프트웨어 오류뿐 아니라 갑자기 몰려드는 접속처럼 고장이 아닌 사건도 실험 대상입니다. 영향이 크거나 자주 일어날 만한 사건부터 우선순위를 정해 시험합니다.
카오스 엔지니어링은 장애를 아예 없애려는 노력이라기보다, 장애는 반드시 일어난다는 사실을 받아들이고 미리 겪어 보려는 태도에서 출발합니다. 고장은 피할 수 없으니 차라리 우리가 고른 시간에 먼저 겪어 보자는 단순한 생각, 그것이 카오스 엔지니어링 이해의 첫걸음입니다.
이 글 PDF 구매
1,000원한국어 PDF · 회원가입 없이 바로 구매할 수 있습니다.
자동차 트렁크에 스페어타이어가 있다고 해서 길 위에서 펑크가 났을 때 정말 바퀴를 갈아 끼울 수 있을까요? 한 번도 해 보지 않았다면 잭을 어디에 받쳐야 하는지부터 막막할 것입니다. 수많은 서버로 움직이는 인터넷 서비스도 마찬가지여서, 예비 장비를 갖춰 두는 것과 실제 고장 속에서 버텨 내는 것은 전혀 다른 문제입니다. 그래서 어떤 기업들은 멀쩡히 돌아가는
미리보기
이 링크를 저장해 두세요. 다른 기기에서 열면 이 PDF를 다시 받을 수 있습니다. 다른 사람과 공유하지 마세요.
PDF 구매 옵션 보기
등급별 무료 PDF 혜택과 별도로 구매합니다. 본문은 무료로 읽을 수 있습니다.
구매 방법을 선택하세요
- 로그인하면 어느 기기에서든 다시 받을 수 있습니다
- 구매 내역에 보관됩니다
- 회원가입 없이 바로 결제합니다
- 이 브라우저에서 다시 받을 수 있습니다
- 다른 기기에서는 구매 후 표시되는 개인 링크로 받습니다
- 나중에 이 브라우저에서 회원으로 로그인하면 구매가 계정으로 옮겨집니다
- 링크를 잃어버리고 브라우저 기록(쿠키)을 지우면 다시 받기 어려울 수 있습니다
비회원 구매를 선택했습니다. 결제 후 이 브라우저와 개인 링크로 다시 받을 수 있습니다.
입력한 번호는 결제 처리를 위해 페이앱에 전달하며, 사이트 회원정보에 저장하지 않습니다.
카드·네이버페이·카카오페이 중 사용 가능한 수단을 결제 화면에서 선택할 수 있습니다.
구매 상태를 확인하고 있습니다.





