騒がしいレストランで友人と話すとき、私たちは知らず知らずのうちに相手の口元を見ています。口の動きが見えれば、音が少しかき消されても言葉がずっと聞き取りやすくなるからです。では、もし耳に聞こえる音と目に見える口の動きが食い違っていたら、どうなるのでしょうか。驚いたことに、脳はどちらか一方を選ぶのではなく、まったく別の第三の音を聞かせるのです。
この不思議な錯覚こそが「マガーク効果（McGurk Effect）」です。マガーク効果とは、簡単に言えば、耳で聞いた音と目で見た口の動きが食い違うとき、視覚情報が話し声の聞こえ方そのものを変え、実際には発せられていない音が聞こえてしまう現象を指します。
本記事では、マガーク効果が偶然発見された経緯、第三の音が生まれる仕組み、効果を強めたり弱めたりする条件、そして日常の中でこの現象が果たす役割まで、順に見ていきます。
耳と目が一緒につくる話し声
映像編集のミスから始まった発見
マガーク効果は、もともと探そうとしていた現象ではありませんでした。
(1) 赤ちゃんの言葉の習得に関する研究
心理学者ハリー・マガーク（Harry McGurk）と研究助手のジョン・マクドナルド（John MacDonald）は、赤ちゃんが成長するにつれて話し声をどのように聞き取るようになるのかを研究していました。そのために技術者に、ある音節を話す映像に別の音節の音声を重ねてほしいと頼みました。
(2) 二人とも聞いた奇妙な音
完成した映像を再生してみると、二人の研究者はどちらも、映像の口の動きに対応する音でも、重ねた音声でもない、第三の音を聞きました。編集ミスのように思えたこの体験が、新たな研究の出発点となりました。
(3) 1976年の論文
二人は1976年、科学誌『ネイチャー（Nature）』に「唇を聞き、声を見る（Hearing Lips and Seeing Voices）」という論文を発表し、この現象を世に知らせました。その後、この錯覚には発見者の名前が付けられました。
「バ」と「ガ」が合わさって「ダ」になる仕組み
最もよく知られた実験は、「ガガ」と言う口の動きの映像に「ババ」という音声を重ねるものです。この映像を見た人の大半は「ダダ」と聞こえたと答えます。
- 融合反応（Fusion）：音の「バ」と口の動きの「ガ」が混ざり合い、その中間あたりの「ダ」に聞こえる場合です。
- 結合反応（Combination）：逆に、音の「ガ」に口の動きの「バ」を見せると、二つの音がつながった「ブガ」のように聞こえることもあります。
(1) 脳が導き出す最善の推測
目と耳から異なる情報が入ってくると、脳は二つを組み合わせて最ももっともらしい答えをつくり出します。話し声を聞き取る過程のごく初期の段階で音と口の動きが一つにまとまるため、私たちはその答えを耳で直接聞いたかのように感じます。このとき、目からの情報が耳からの情報より大きく働き、第三の音が生まれます。
(2) 知っていても避けられない錯覚
マガーク効果は、仕組みを知っていても消えません。この現象を20年以上研究してきた研究者でさえ、映像を見るとやはり第三の音が聞こえるといいます。目を閉じた瞬間に、ようやく本来の音が正しく聞こえるのです。
効果を強める条件と弱める条件
マガーク効果は誰にでも同じ強さで現れるわけではなく、さまざまな条件によって強くなったり弱くなったりします。
- 視線（Gaze）：話し手の顔のどこを見ていても効果は現れますが、視線が口から大きく外れると弱まります。
- 時間差（Temporal Synchrony）：音と口の動きが正確に合っていなくても効果は生じます。音が口の動きより0.2秒ほど遅れても錯覚は起こりますが、逆に音が口の動きより先に出ると、錯覚はより崩れやすくなります。
- 音質（Audio Quality）：音がぼやけていたり雑音に埋もれていたりするほど口の動きに頼るようになり、効果が強まります。
- 見慣れた顔（Familiarity）：よく知っている人の顔で実験すると、効果は弱まります。
- 注意の分散（Attention）：ほかの物に目を奪われたり、手で何かに触れることに集中したりすると、効果は大きく減少します。
言語によって異なる強さ
英語、ドイツ語、スペイン語などを話す人々では効果がはっきり現れますが、日本語や中国語を話す人々では比較的弱く現れます。研究者たちは、言語の音の構造と、相手の顔をじっと見つめない文化をその原因として挙げています。
日常の中のマガーク効果
マガーク効果は実験室の中の不思議な錯覚にとどまらず、私たちが言葉を聞き取る仕組み全体を示しています。
(1) 騒音の中の会話
騒がしい場所では、口の動きを見ると言葉がずっとよく聞き取れます。マガーク効果は、私たちが普段、耳だけでなく目でも言葉を聞いている証拠なのです。
(2) 赤ちゃんの言語発達
生後4～5か月の赤ちゃんにも似た反応が観察されており、効果は成長とともに次第に強くなります。言葉を学ぶ過程で、音と口の動きを一緒に身につけていくということです。
(3) 目撃者の記憶
2005年のある研究は、食い違った視覚情報が、犯罪現場で聞いた言葉の記憶まで変えうることを示しました。耳で聞いた証言でさえ、目が見たものに揺さぶられうるということです。
マガーク効果は、聞くことが耳だけの仕事ではないことを教えてくれます。私たちの脳は、目と耳から入ってくる情報を休むことなく一つに編み上げ、私たちが気づくより先に世界を解釈しているのです。
自分が聞いたものが実は目と耳が一緒につくり出した結果だと知ること、それこそが自分の感覚を信じながらも盲信しない知恵への第一歩です。
