Khi trò chuyện với bạn bè trong một nhà hàng ồn ào, chúng ta vô thức nhìn vào miệng người đối diện. Bởi vì khi nhìn thấy khẩu hình, ta sẽ hiểu lời nói dễ hơn nhiều, dù âm thanh có bị lấn át phần nào. Nhưng nếu âm thanh lọt vào tai và khẩu hình trước mắt lại khác nhau thì sao? Thật đáng ngạc nhiên, bộ não không chọn một trong hai mà cho ta nghe thấy một âm thứ ba hoàn toàn khác.
Ảo giác kỳ lạ này chính là “hiệu ứng McGurk (McGurk Effect)”. Nói đơn giản, hiệu ứng McGurk là hiện tượng khi âm thanh tai nghe được và khẩu hình mắt nhìn thấy không khớp nhau, thông tin thị giác làm thay đổi chính cách ta nghe lời nói, khiến ta nghe ra một âm thực ra không hề được phát ra.
Trong bài viết này, chúng ta sẽ lần lượt tìm hiểu quá trình hiệu ứng McGurk được tình cờ phát hiện, nguyên lý tạo ra âm thứ ba, những điều kiện làm hiệu ứng mạnh lên hay yếu đi, và cả vai trò của hiện tượng này trong đời sống hằng ngày.
Lời nói do tai và mắt cùng tạo nên
Phát hiện bắt đầu từ một lỗi dựng video
Hiệu ứng McGurk vốn không phải là hiện tượng mà ai đó định đi tìm ngay từ đầu.
(1) Nghiên cứu về cách trẻ sơ sinh học nói
Nhà tâm lý học Harry McGurk và trợ lý nghiên cứu John MacDonald khi đó đang nghiên cứu cách trẻ nhỏ dần hiểu được âm thanh lời nói trong quá trình lớn lên. Để làm việc này, họ nhờ một kỹ thuật viên lồng âm thanh của một âm tiết vào đoạn video quay cảnh một người nói một âm tiết khác.
(2) Âm thanh lạ mà cả hai cùng nghe thấy
Khi phát đoạn video đã hoàn thành, cả hai nhà nghiên cứu đều nghe thấy một âm thứ ba, không phải âm ứng với khẩu hình trong video cũng không phải âm đã được lồng vào. Trải nghiệm tưởng như một lỗi dựng phim ấy đã trở thành điểm khởi đầu cho một nghiên cứu mới.
(3) Bài báo năm 1976
Năm 1976, hai người công bố bài báo có tiêu đề “Nghe môi và nhìn giọng nói (Hearing Lips and Seeing Voices)” trên tạp chí khoa học Nature, giới thiệu hiện tượng này với thế giới. Về sau, ảo giác này được đặt theo tên người phát hiện ra nó.
Nguyên lý “ba” và “ga” gặp nhau thành “da”
Thí nghiệm nổi tiếng nhất là lồng âm thanh “ba-ba” vào đoạn video có khẩu hình đang nói “ga-ga”. Phần lớn những người xem đoạn video này đều trả lời rằng họ nghe thấy “da-da”.
- Phản ứng hợp nhất (Fusion): Âm thanh “ba” và khẩu hình “ga” hòa vào nhau, nghe thành “da” nằm ở khoảng giữa hai âm.
- Phản ứng kết hợp (Combination): Ngược lại, khi cho xem khẩu hình “ba” cùng âm thanh “ga”, hai âm đôi khi nghe như được nối liền thành “bga”.
(1) Phỏng đoán tốt nhất của bộ não
Khi mắt và tai đưa vào những thông tin khác nhau, bộ não kết hợp cả hai để tạo ra câu trả lời hợp lý nhất. Vì âm thanh và khẩu hình được hợp làm một ngay ở giai đoạn rất sớm của quá trình hiểu lời nói, ta cảm thấy câu trả lời ấy như thể chính tai mình đã nghe thấy. Lúc này, thông tin từ mắt có tác động lớn hơn thông tin từ tai, và âm thứ ba ra đời.
(2) Ảo giác không thể tránh dù đã biết
Hiệu ứng McGurk không biến mất dù ta đã hiểu nguyên lý của nó. Ngay cả những nhà khoa học đã nghiên cứu hiện tượng này hơn 20 năm cũng cho biết họ vẫn nghe thấy âm thứ ba khi xem video. Chỉ khi nhắm mắt lại, họ mới nghe đúng âm thanh ban đầu.
Những điều kiện làm hiệu ứng mạnh lên hay yếu đi
Hiệu ứng McGurk không xuất hiện với cùng một cường độ ở mọi người, mà mạnh lên hoặc yếu đi tùy theo nhiều điều kiện khác nhau.
- Ánh nhìn (Gaze): Dù nhìn vào bất kỳ chỗ nào trên khuôn mặt người nói, hiệu ứng vẫn xuất hiện, nhưng sẽ yếu đi nếu ánh nhìn lệch xa khỏi miệng.
- Độ lệch thời gian (Temporal Synchrony): Hiệu ứng vẫn xảy ra dù âm thanh và khẩu hình không khớp chính xác. Ảo giác vẫn diễn ra khi âm thanh chậm hơn khẩu hình khoảng 0,2 giây, nhưng ngược lại nếu âm thanh phát ra trước khẩu hình thì ảo giác dễ bị phá vỡ hơn.
- Chất lượng âm thanh (Audio Quality): Âm thanh càng mờ hoặc càng bị tiếng ồn lấn át, ta càng dựa vào khẩu hình, và hiệu ứng càng mạnh.
- Khuôn mặt quen thuộc (Familiarity): Khi thí nghiệm dùng khuôn mặt của người mà ta biết rõ, hiệu ứng sẽ yếu đi.
- Phân tán chú ý (Attention): Khi ánh mắt bị một vật khác thu hút hoặc khi ta tập trung vào việc dùng tay chạm vào thứ gì đó, hiệu ứng giảm đi rõ rệt.
Cường độ khác nhau theo từng ngôn ngữ
Ở những người nói tiếng Anh, tiếng Đức, tiếng Tây Ban Nha và các ngôn ngữ khác, hiệu ứng thể hiện rõ rệt, nhưng ở người nói tiếng Nhật và tiếng Trung thì tương đối yếu hơn. Các nhà nghiên cứu cho rằng nguyên nhân nằm ở cấu trúc âm thanh của ngôn ngữ và nền văn hóa không nhìn chằm chằm vào mặt người đối diện.
Hiệu ứng McGurk trong đời sống hằng ngày
Hiệu ứng McGurk không chỉ là một ảo giác thú vị trong phòng thí nghiệm, mà còn cho thấy toàn bộ cách chúng ta hiểu lời nói.
(1) Trò chuyện giữa tiếng ồn
Ở nơi ồn ào, nếu nhìn khẩu hình, ta sẽ hiểu lời nói tốt hơn nhiều. Hiệu ứng McGurk là bằng chứng cho thấy bình thường chúng ta nghe lời nói không chỉ bằng tai mà còn bằng cả mắt.
(2) Sự phát triển ngôn ngữ ở trẻ sơ sinh
Những phản ứng tương tự đã được ghi nhận ngay cả ở trẻ 4–5 tháng tuổi, và hiệu ứng dần mạnh lên khi trẻ lớn. Điều này có nghĩa là trong quá trình học nói, ta học âm thanh và khẩu hình cùng lúc.
(3) Trí nhớ của nhân chứng
Một nghiên cứu năm 2005 cho thấy thông tin thị giác không khớp thậm chí có thể làm thay đổi ký ức về những lời nghe được tại hiện trường vụ án. Tức là ngay cả lời khai dựa trên những gì tai nghe cũng có thể bị lung lay bởi những gì mắt thấy.
Hiệu ứng McGurk cho ta biết rằng nghe không phải là việc của riêng đôi tai. Bộ não của chúng ta không ngừng đan kết thông tin từ mắt và tai thành một, diễn giải thế giới trước cả khi ta kịp nhận ra.
Hiểu rằng những gì mình nghe thấy thực ra là kết quả do mắt và tai cùng tạo nên, đó chính là bước đầu tiên của sự khôn ngoan: tin vào giác quan của mình nhưng không tin một cách mù quáng.
