시끄러운 식당에서 친구와 이야기를 나눌 때, 우리는 저도 모르게 상대의 입을 바라봅니다. 입 모양이 보이면 소리가 조금 묻혀도 말을 알아듣기가 훨씬 쉬워지기 때문입니다. 그런데 만약 귀에 들리는 소리와 눈에 보이는 입 모양이 서로 다르다면 어떻게 될까요? 놀랍게도 우리의 뇌는 둘 중 하나를 고르지 않고, 전혀 다른 세 번째 소리를 들려줍니다.

이 신기한 착각이 바로 ‘맥거크 효과(McGurk Effect)’입니다. 맥거크 효과란 쉽게 말해 귀로 들은 소리와 눈으로 본 입 모양이 어긋날 때, 시각 정보가 말소리를 듣는 방식 자체를 바꾸어 실제로는 나지 않은 소리를 듣게 되는 현상을 의미합니다.

본 자료에서는 맥거크 효과가 우연히 발견된 과정과 세 번째 소리가 만들어지는 원리, 효과를 키우거나 줄이는 조건, 그리고 일상 속에서 이 현상이 하는 역할까지 차례로 살펴보겠습니다.

귀와 눈이 함께 만드는 말소리

영상 편집 실수에서 시작된 발견

맥거크 효과는 처음부터 찾으려던 현상이 아니었습니다.

(1) 아기의 말 배우기 연구
심리학자 해리 맥거크(Harry McGurk)와 연구 조수 존 맥도널드(John MacDonald)는 아기들이 자라면서 말소리를 어떻게 알아듣는지 연구하고 있었습니다. 이를 위해 기술자에게 한 음절을 말하는 영상에 다른 음절의 소리를 입혀 달라고 부탁했습니다.

(2) 둘 다 들은 엉뚱한 소리
완성된 영상을 틀어 보니 두 연구자 모두 영상 속 입 모양의 소리도, 입힌 소리도 아닌 세 번째 소리를 들었습니다. 편집 실수처럼 보였던 이 경험이 새로운 연구의 출발점이 되었습니다.

(3) 1976년의 논문
두 사람은 1976년 과학 학술지 「네이처(Nature)」에 ‘입술을 듣고 목소리를 보다(Hearing Lips and Seeing Voices)’라는 논문을 실어 이 현상을 세상에 알렸습니다. 이후 이 착각에는 발견자의 이름이 붙었습니다.

‘바’와 ‘가’가 만나 ‘다’가 되는 원리

가장 잘 알려진 실험은 ‘가가’라고 말하는 입 모양 영상에 ‘바바’라는 소리를 입히는 것입니다. 이 영상을 본 사람 대부분은 ‘다다’라고 들었다고 답합니다.

• 융합 반응(Fusion): 소리 ‘바’와 입 모양 ‘가’가 섞여 그 중간쯤인 ‘다’로 들리는 경우입니다.
• 결합 반응(Combination): 반대로 소리 ‘가’에 입 모양 ‘바’를 보여 주면 두 소리가 이어 붙은 ‘브가’처럼 들리기도 합니다.

(1) 뇌가 내놓는 최선의 추측
눈과 귀에서 서로 다른 정보가 들어오면 뇌는 둘을 합쳐 가장 그럴듯한 답을 만들어 냅니다. 말소리를 알아듣는 과정의 아주 이른 단계에서 소리와 입 모양이 하나로 합쳐지기 때문에, 우리는 그 답을 귀로 직접 들은 것처럼 느낍니다. 이때 눈에서 온 정보가 귀에서 온 정보보다 더 크게 작용해 세 번째 소리가 생겨납니다.

(2) 알아도 피할 수 없는 착각
맥거크 효과는 원리를 안다고 사라지지 않습니다. 이 현상을 20년 넘게 연구한 학자들조차 영상을 보면 여전히 세 번째 소리를 듣는다고 합니다. 눈을 감는 순간에야 원래 소리가 제대로 들립니다.

효과를 키우고 줄이는 조건

맥거크 효과는 누구에게나 똑같은 세기로 나타나지 않으며, 여러 조건에 따라 강해지거나 약해집니다.

• 시선(Gaze): 말하는 사람의 얼굴 어디를 보든 효과가 나타나지만, 시선이 입에서 크게 벗어나면 약해집니다.
• 시간 차(Temporal Synchrony): 소리와 입 모양이 정확히 맞지 않아도 효과가 생깁니다. 소리가 입 모양보다 0.2초가량 늦어도 여전히 착각이 일어나지만, 반대로 소리가 입 모양보다 먼저 나오면 착각이 더 쉽게 깨집니다.
• 소리의 질(Audio Quality): 소리가 흐릿하거나 잡음에 묻힐수록 입 모양에 더 기대게 되어 효과가 강해집니다.
• 익숙한 얼굴(Familiarity): 잘 아는 사람의 얼굴로 실험하면 효과가 약해집니다.
• 주의 분산(Attention): 다른 물체에 눈길을 빼앗기거나 손으로 무언가를 만지는 일에 집중하면 효과가 크게 줄어듭니다.

언어마다 다른 세기

영어, 독일어, 스페인어 등을 쓰는 사람들에게는 효과가 뚜렷하지만, 일본어와 중국어를 쓰는 사람들에게서는 상대적으로 약하게 나타납니다. 연구자들은 언어의 소리 구조와 상대의 얼굴을 빤히 보지 않는 문화를 원인으로 꼽습니다.

일상 속 맥거크 효과

맥거크 효과는 실험실 속 신기한 착각에 그치지 않고, 우리가 말을 알아듣는 방식 전반을 보여 줍니다.

(1) 소음 속의 대화
시끄러운 곳에서 입 모양을 보면 말을 훨씬 잘 알아듣습니다. 맥거크 효과는 평소 우리가 귀만이 아니라 눈으로도 말을 듣고 있다는 증거입니다.

(2) 아기의 언어 발달
생후 4~5개월 된 아기에게서도 이와 비슷한 반응이 관찰되며, 효과는 자라면서 점점 강해집니다. 말을 배우는 과정에서 소리와 입 모양을 함께 익힌다는 뜻입니다.

(3) 목격자의 기억
2005년의 한 연구는 어긋난 시각 정보가 범죄 현장에서 들은 말에 대한 기억까지 바꿀 수 있음을 보여 주었습니다. 귀로 들은 증언도 눈이 본 것에 흔들릴 수 있다는 것입니다.

맥거크 효과는 듣기가 귀만의 일이 아니라는 사실을 알려 줍니다. 우리의 뇌는 눈과 귀에서 들어온 정보를 쉬지 않고 하나로 엮어, 우리가 미처 깨닫기도 전에 세상을 해석해 내고 있습니다.

내가 들은 것이 사실은 눈과 귀가 함께 만든 결과임을 아는 것, 그것이 내 감각을 믿되 맹신하지 않는 지혜의 첫걸음입니다.