문 세 개 가운데 하나 뒤에는 자동차가, 나머지 두 개 뒤에는 염소가 있습니다. 내가 1번 문을 고르자, 답을 알고 있는 진행자가 3번 문을 열어 염소를 보여 주고 이렇게 묻습니다. “2번 문으로 바꾸시겠습니까?” 남은 문은 둘이니 어느 쪽이든 반반이라고 느껴지지만, 사실은 바꾸는 쪽이 두 배나 유리합니다. 이 직관과 정답의 충돌을 보여 주는 유명한 퍼즐이 바로 ‘몬티 홀 문제(Monty Hall Problem)’입니다.

몬티 홀 문제란 쉽게 말해 ‘새로운 정보가 주어졌을 때 확률을 어떻게 다시 계산해야 하는가’를 묻는 조건부 확률의 대표 문제를 의미합니다. 이름은 1963년에 시작된 미국 텔레비전 게임 쇼 「거래를 합시다(Let’s Make a Deal)」의 진행자 몬티 홀에게서 왔습니다.

본 자료에서는 몬티 홀 문제의 규칙부터 바꾸는 쪽이 유리한 이유, 수많은 전문가가 틀렸던 논쟁, 그리고 이 퍼즐이 일상에 주는 교훈까지 차례로 살펴보겠습니다.

몬티 홀 문제의 정답과 착각의 뿌리

몬티 홀 문제란 무엇인가?

이 문제는 1975년 미국의 통계학자 스티브 셀빈(Steve Selvin)이 학술지 「미국 통계학자(The American Statistician)」에 보낸 편지에서 처음 소개했습니다. 그는 이어서 보낸 두 번째 편지에서 ‘몬티 홀 문제’라는 이름을 붙였습니다. 정답이 성립하려면 진행자가 지키는 규칙이 분명해야 합니다.

• 진행자의 지식(Host Knowledge): 진행자는 어느 문 뒤에 자동차가 있는지 알고 있습니다.
• 반드시 문을 연다(Always Opens a Door): 진행자는 참가자가 고르지 않은 문 가운데 하나를 반드시 엽니다.
• 염소만 공개(Always Reveals a Goat): 진행자는 자동차가 있는 문은 절대 열지 않습니다.
• 바꿀 기회(Always Offers a Switch): 진행자는 언제나 남은 문으로 바꿀 기회를 줍니다.

(1) 더 오래된 쌍둥이 퍼즐
몬티 홀 문제와 수학적으로 같은 퍼즐은 그 전에도 있었습니다. 1959년 마틴 가드너(Martin Gardner)는 「사이언티픽 아메리칸(Scientific American)」의 칼럼에서 세 죄수 가운데 한 명만 사면받는 ‘세 죄수 문제’를 소개했습니다. 더 거슬러 올라가 1889년 프랑스의 수학자 조제프 베르트랑(Joseph Bertrand)이 낸 ‘베르트랑의 상자 역설’도 같은 착각을 다룹니다.

바꾸면 3분의 2가 되는 이유

처음 1번 문을 고를 때 자동차가 그 문 뒤에 있을 확률은 3분의 1이고, 나머지 두 문 어딘가에 있을 확률은 3분의 2입니다. 진행자가 염소가 있는 문을 하나 열어도 이 사실은 변하지 않습니다. 진행자는 답을 알고 일부러 염소를 골라 열었기 때문에, 처음 고른 문에 대해서는 새로운 정보가 생기지 않습니다. 결국 나머지 두 문에 몰려 있던 3분의 2의 확률이 닫혀 있는 한 문에 고스란히 모입니다.

(1) 세 가지 경우로 따져 보기
자동차가 1번 문에 있으면 바꿀 때 집니다. 자동차가 2번이나 3번 문에 있으면, 진행자가 남은 염소 문을 열어 주므로 바꿀 때 반드시 이깁니다. 세 경우 가운데 두 번을 이기니 바꾸는 쪽의 승률은 3분의 2입니다.

(2) 문이 백만 개라면
마릴린 보스 사반트(Marilyn vos Savant)는 문이 백만 개일 때를 상상해 보라고 권했습니다. 내가 한 문을 고른 뒤 진행자가 자동차를 피해 나머지 문을 하나만 남기고 모두 연다면, 그 남은 한 문으로 바꾸는 편이 낫다는 사실을 누구나 쉽게 느낄 수 있습니다.

천재도 틀린 몬티 홀 논쟁

이 문제가 널리 알려진 것은 1990년 9월 미국 잡지 「퍼레이드(Parade)」의 질문 답변 칼럼 「마릴린에게 물어보세요(Ask Marilyn)」 덕분이었습니다. 보스 사반트가 바꾸는 편이 유리하다고 답하자 약 1만 통의 편지가 쏟아졌고, 그 가운데 1,000통 가까이가 박사 학위를 가진 사람이 보낸 것이었습니다. 대부분은 그녀의 답이 틀렸다고 주장했습니다.

[사례 1] 컴퓨터를 보고서야 받아들인 수학자

역사상 가장 많은 논문을 남긴 수학자로 꼽히는 폴 에르되시(Paul Erdős)도 처음에는 정답을 믿지 않았습니다. 그는 컴퓨터로 게임을 수없이 반복한 결과를 보고 나서야 바꾸는 쪽이 유리하다는 사실을 받아들였다고 전해집니다.

[사례 2] 사람보다 나은 비둘기

2010년 미국의 한 연구에서는 비둘기에게 몬티 홀 게임을 반복해서 시켰습니다. 비둘기는 경험이 쌓이자 거의 언제나 바꾸는 쪽을 택했지만, 같은 과제를 받은 사람들은 끝까지 최선의 선택에 이르지 못했습니다. 사람을 대상으로 한 다른 연구에서도 참가자 228명 가운데 13%만이 문을 바꾸었습니다.

진행자의 규칙이 답을 바꾼다

몬티 홀 문제의 핵심은 문을 연 사람이 답을 알고 있었다는 점입니다. 만약 진행자가 답을 모른 채 아무 문이나 열었는데 우연히 염소가 나왔다면, 바꾸든 바꾸지 않든 이길 확률은 반반이 됩니다. 같은 장면이라도 정보가 만들어진 과정에 따라 확률이 달라지는 것입니다.

(1) 실제 방송은 달랐습니다
몬티 홀 본인은 1991년 「뉴욕 타임스(The New York Times)」와의 인터뷰에서 문제를 정확히 이해하고 있음을 보여 주었습니다. 다만 실제 방송에서는 자신이 규칙에 얽매이지 않고 참가자의 심리를 이용해 게임을 이끌었기 때문에, 이 계산이 그대로 적용되지는 않는다고 덧붙였습니다.

(2) 일상에서 얻는 교훈
새로운 정보를 받으면 그 정보가 누구에 의해, 어떤 규칙으로 걸러졌는지를 먼저 따져야 합니다. 처음 고른 것을 쉽게 놓지 못하는 마음은 판단을 흐리기 쉽습니다.

몬티 홀 문제는 남은 선택지가 둘이라고 해서 확률이 언제나 반반은 아니라는 사실을 보여 줍니다. 똑똑한 사람들조차 틀린 이 퍼즐은 직관이 얼마나 쉽게 정보의 출처를 놓치는지 일깨워 줍니다.

눈앞의 결과보다 그 정보가 만들어진 과정을 묻는 것, 그것이 바른 확률 읽기의 첫걸음입니다.