매일 초콜릿을 먹으면 살이 빠진다는 뉴스를 보신 적이 있으신가요? 2015년 이 연구 결과는 여러 나라 언론에 소개되며 큰 화제가 되었습니다. 그런데 얼마 뒤 연구를 진행한 기자 존 보해넌(John Bohannon)이 직접 고백했습니다. 이 연구는 엉터리 과학이 얼마나 쉽게 퍼지는지 보여 주려고 일부러 꾸민 실험이었고, 몸무게와 콜레스테롤, 수면의 질 등 18가지 항목을 한꺼번에 재어 우연히 차이가 난 결과만 내세웠다는 것입니다.

이처럼 원하는 결과가 나올 때까지 데이터를 이리저리 분석해 ‘통계적으로 의미 있는’ 숫자를 만들어 내는 일을 ‘P-해킹(P-hacking)’이라고 합니다. 자료를 조작하지 않고 분석 방법만 고르는데도 결과는 진짜 발견처럼 보이기 때문에, 연구자 자신도 모르는 사이에 빠지기 쉬운 함정입니다.

본 자료에서는 P-해킹의 출발점인 p값의 뜻부터 P-해킹이 일어나는 대표적인 방식, 과학계에 남긴 재현성 위기, 그리고 이를 막기 위한 방법까지 차례로 살펴보겠습니다.

숫자를 고문하면 자백한다, P-해킹의 원리와 대처

p값과 유의수준이란 무엇일까

P-해킹을 이해하려면 먼저 p값이 무엇인지 알아야 합니다. 연구자는 보통 ‘효과가 없다’는 귀무가설을 세운 뒤, 실제로 얻은 결과가 우연만으로 나올 가능성이 얼마나 되는지 따집니다.

• p값(P-value): 효과가 전혀 없다고 가정했을 때, 지금 관찰한 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다.
• 유의수준(Significance Level): 결과를 우연이 아니라고 판단할 기준선으로, 흔히 0.05(5%)를 씁니다.
• 거짓 양성(False Positive): 실제로는 효과가 없는데 우연히 기준선을 넘어 효과가 있다고 잘못 결론 내리는 일입니다.

문제는 기준이 5%라는 데 있습니다. 효과가 전혀 없는 검정을 20번 하면 평균 1번은 우연히 ‘유의미한’ 결과가 나옵니다. 서로 독립인 검정을 20번 하면 적어도 한 번 기준을 넘을 확률은 약 64%에 이릅니다. 여러 번 시도하고 성공한 것만 보여 주면 우연도 발견처럼 보이게 되는 것입니다.

P-해킹은 어떻게 일어날까

P-해킹이라는 말은 미국의 심리학자 우리 시몬손(Uri Simonsohn), 리프 넬슨(Leif Nelson), 조지프 시먼스(Joseph Simmons)가 2014년 논문에서 처음 썼습니다. 이들은 그보다 앞선 2011년, 비틀스의 노래 「When I’m Sixty-Four」를 들은 사람이 실제로 더 젊어졌다는 터무니없는 결론을 통계적으로 ‘유의미하게’ 만들어 보이며 문제를 고발하기도 했습니다.

(1) 여러 결과를 재고 좋은 것만 고르기
초콜릿 연구처럼 측정 항목을 잔뜩 늘린 뒤 기준을 넘은 항목만 보고합니다.

(2) 원하는 결과가 나오면 멈추기
데이터를 조금씩 모으면서 매번 검정하다가 p값이 0.05 아래로 내려가는 순간 수집을 멈춥니다.

(3) 집단을 쪼개고 이상값을 덜어 내기
전체에서 효과가 없으면 남녀나 나이대로 나눠 보고, 결과에 방해가 되는 자료를 ‘이상값’이라는 이유로 뺍니다.

(4) 결과를 보고 가설을 고쳐 쓰기
데이터에서 찾은 패턴을 처음부터 예측했던 것처럼 서술합니다. 탐색해서 얻은 가설은 새로운 데이터로 다시 확인해야 하는데, 이 단계를 건너뛰면 우연한 패턴이 그대로 결론이 됩니다. 이를 하킹(HARKing)이라고 부릅니다.

재현성 위기를 부른 숫자들

P-해킹으로 얻은 결과는 우연의 산물이라 다른 연구자가 똑같이 실험하면 다시 나오지 않는 경우가 많습니다. 이는 과학 전체의 신뢰 문제로 번졌습니다.

다시 해 보니 사라진 효과들

2015년 270명이 넘는 연구자가 참여한 재현성 프로젝트(Reproducibility Project)는 유명 심리학 학술지에 실린 연구 100편을 다시 실험했습니다. 원래 연구는 대부분 유의미한 결과를 보고했지만, 재실험에서 같은 결론을 얻은 비율은 약 36%에 그쳤습니다. 이 소식은 ‘재현성 위기(Replication Crisis)’라는 말을 널리 알렸습니다.

서랍 속에 묻히는 실패

학술지는 효과가 없다는 결과보다 새롭고 유의미한 결과를 더 반깁니다. 그래서 실패한 연구는 발표되지 못하고 서랍 속에 남는데, 이를 출판 편향(Publication Bias) 또는 서랍 문제라고 합니다. 이런 환경이 연구자에게 p값을 0.05 아래로 끌어내리고 싶은 유혹을 만듭니다.

P-해킹을 막는 방법

미국통계학회(ASA)는 2016년 p값에 관한 공식 성명을 내고, p값 하나로 연구의 가치를 판단해서는 안 된다고 강조했습니다. 이후 여러 대책이 함께 쓰이고 있습니다.

(1) 미리 등록하기
데이터를 모으기 전에 가설과 분석 방법을 공개 저장소에 먼저 등록합니다. 학술지가 결과와 상관없이 실어 주기로 약속하는 등록 보고서(Registered Report) 제도도 늘고 있습니다.

(2) 검정 횟수만큼 기준을 엄격하게
여러 가설을 검정했다면 본페로니 보정(Bonferroni Correction)처럼 유의수준을 검정 횟수로 나누어 기준을 높입니다.

(3) 데이터와 분석 과정 공개하기
원자료와 분석 코드를 함께 공개하면 다른 연구자가 결과를 직접 확인하고 다시 계산해 볼 수 있습니다.

경제학자 로널드 코스(Ronald Coase)가 했다고 알려진 말처럼, 데이터를 충분히 오래 고문하면 무엇이든 자백하게 할 수 있습니다. 숫자는 거짓말을 하지 않지만, 숫자를 고르는 사람은 얼마든지 원하는 이야기를 만들 수 있습니다. 그래서 좋은 연구는 놀라운 결과보다 그 결과에 이른 과정을 투명하게 보여 주는 데서 출발합니다.

연구 결과 앞에서 몇 번을 시도해 얻은 숫자인지 한 번 더 묻는 일, 그것이 통계를 바르게 읽는 눈의 첫걸음입니다.