친구에게 길을 설명할 때 “편의점을 지나서 오른쪽으로 꺾어”라고 말로만 하면 금세 잊어버리지만, 약도 한 장을 그려 주면 오래 기억합니다. 단어장의 ‘사과’는 쉽게 외워지는데 ‘정의’나 ‘개념’ 같은 낱말은 자꾸 머릿속에서 미끄러집니다. 말과 그림이 머릿속에서 서로 다른 길로 저장되기 때문이라는 설명, 그것이 바로 ‘이중 부호화 이론(Dual Coding Theory)’입니다.

이중 부호화 이론이란 쉽게 말해 ‘사람의 마음에는 말을 다루는 언어 체계와 이미지를 다루는 비언어 체계가 따로 있고, 두 체계가 서로 연결될 때 더 잘 이해하고 오래 기억한다’는 생각을 의미합니다. 같은 내용을 말과 그림 두 가지 꼬리표로 붙여 두면, 하나를 잃어도 다른 하나로 되찾을 수 있다는 것입니다.

본 자료에서는 이중 부호화 이론의 뜻과 유래부터 두 체계가 연결되는 방식, 교실과 일상에서 보는 쉬운 예시, 그리고 수업에 적용하는 방법과 흔한 오해까지 차례로 살펴보겠습니다.

이중 부호화 이론의 구조와 활용

이중 부호화 이론이란 무엇인가?

이 이론은 캐나다 웨스턴온타리오 대학교의 심리학자 앨런 파이비오(Allan Paivio)가 1971년 저서 『심상과 언어 과정(Imagery and Verbal Processes)』에서 체계적으로 내놓았습니다. 그는 ‘개’ ‘집’처럼 눈앞에 그릴 수 있는 구체적인 낱말이 ‘진실’ ‘가능성’ 같은 추상적인 낱말보다 훨씬 잘 기억된다는 실험 결과에 주목했습니다. 1960년대부터 낱말 짝을 외우게 하는 실험을 거듭한 끝에, 구체성이 기억을 좌우하는 가장 강력한 요인 가운데 하나라는 사실을 확인했습니다.

파이비오의 답은 이렇습니다. 구체적인 낱말은 소리와 글자로 된 언어 부호와 함께 머릿속 그림이라는 비언어 부호까지 불러오지만, 추상적인 낱말은 주로 언어 부호 하나에 기댑니다. 기억의 단서가 두 갈래로 남으니 떠올리기도 쉬워진다는 것입니다. 1991년에는 제임스 클라크(James M. Clark)와 함께 이 이론을 교육 전반을 설명하는 틀로 정리했습니다.

• 언어 체계(Verbal System): 낱말, 문장, 소리처럼 말로 된 정보를 차례대로 다루는 체계입니다.
• 비언어 체계(Nonverbal System): 모양, 장면, 소리, 촉감처럼 말이 아닌 정보를 한꺼번에 다루는 체계입니다.

두 체계를 잇는 표상과 연결

파이비오는 두 체계 안에 저장되는 기본 단위에도 이름을 붙였습니다. 언어 체계의 단위는 ‘로고젠’, 비언어 체계의 단위는 ‘이마젠’입니다. 로고젠은 연상과 위계로 묶이고, 이마젠은 부분과 전체의 관계로 묶인다고 보았습니다.

(1) 표상적 처리
‘사과’라는 글자를 보면 그 낱말 자체가 떠오르고, 사과 사진을 보면 그 모양이 떠오르는 가장 직접적인 단계입니다.

(2) 참조적 처리
‘사과’라는 글자를 보고 빨갛고 둥근 사과를 떠올리거나, 사과 그림을 보고 이름을 말하는 단계입니다. 두 체계가 서로를 불러내는 다리이며, 이 연결이 많을수록 기억이 단단해집니다.

(3) 연상적 처리
‘사과’에서 ‘과일’ ‘가을’ ‘껍질’로 이어지듯, 같은 체계 안에서 관련된 표상이 줄줄이 떠오르는 단계입니다.

• 로고젠(Logogen): 언어 체계에 저장된 낱말 단위의 표상입니다.
• 이마젠(Imagen): 비언어 체계에 저장된 심상 단위의 표상입니다.

쉬운 예시로 이해하는 이중 부호화

이중 부호화는 실험실보다 교실과 일상에서 더 자주 만날 수 있습니다.

(1) 그림이 들어간 단어 카드
외국어 단어 옆에 그 사물의 그림을 함께 넣으면 철자만 있는 카드보다 기억에 오래 남습니다. 같은 대상을 낱말로 볼 때보다 그림으로 볼 때 더 잘 기억하는 현상을 ‘그림 우월 효과’라 부르며, 파이비오는 이것을 이중 부호화로 설명했습니다.

(2) 과학 시간의 순환 도표
물의 순환을 글로만 읽으면 단계가 뒤섞이지만, 화살표가 그려진 도표와 함께 보면 증발과 응결, 강수의 순서가 한눈에 잡힙니다. 말로 된 설명과 공간적 배치가 서로를 붙들어 주기 때문입니다.

(3) 기억의 궁전
외울 목록을 익숙한 집 안의 장소마다 하나씩 놓는다고 상상하는 오래된 기억법도 같은 원리입니다. 낱말에 생생한 장면을 붙여 비언어 부호를 일부러 만들어 냅니다.

수업에 적용하는 방법과 흔한 오해

이 생각은 교육 심리학자 리처드 메이어(Richard E. Mayer)의 멀티미디어 학습 이론으로 이어졌습니다. 사람은 말만 들을 때보다 말과 그림을 함께 볼 때 더 깊이 배운다는 ‘멀티미디어 원리’가 대표적입니다. 다만 각 통로가 한 번에 처리할 수 있는 양에는 한계가 있어, 내레이션과 똑같은 문장을 화면에 가득 띄우면 오히려 학습을 방해할 수 있습니다.

흔한 오해도 있습니다. 이중 부호화는 ‘시각형 학습자에게는 그림만, 청각형 학습자에게는 말만’ 주라는 학습 유형 이야기가 아닙니다. 모든 학습자에게 말과 그림을 함께, 그리고 서로 맞물리게 주라는 뜻입니다. 장식용 그림은 도움이 되지 않으며, 내용과 직접 연결된 그림이어야 효과가 납니다.

실제 수업에서는 핵심 개념을 개념도로 묶어 보여 주기, 사건의 순서를 시간선 위에 놓기, 설명을 들은 뒤 학생이 직접 그림으로 요약하게 하기 같은 방법이 자주 쓰입니다. 그림을 보여 줄 때는 관련 설명을 그림 가까이에 두어 눈이 두 곳을 오가지 않게 하는 것도 중요합니다.

• 멀티미디어 원리(Multimedia Principle): 낱말만 줄 때보다 낱말과 그림을 함께 줄 때 더 깊이 배운다는 원리입니다.
• 그림 우월 효과(Picture Superiority Effect): 같은 대상을 낱말보다 그림으로 볼 때 더 잘 기억하는 현상입니다.

이중 부호화 이론은 기억을 한 줄의 기록이 아니라, 말과 그림이라는 두 갈래 길이 만나는 그물로 봅니다. 공부할 내용을 스스로 그려 보거나, 그림을 보고 말로 풀어 보는 것만으로도 두 체계를 잇는 다리가 하나씩 늘어납니다.

외운 말에 그림을 덧붙이고 본 그림을 말로 다시 꺼내 보는 것, 그것이 오래 남는 배움의 첫걸음입니다.