여러분은 복잡한 내용을 공부할 때, 글로만 읽는 것과 그림이나 도표를 함께 보는 것 중 어느 쪽이 머리에 더 잘 들어온다고 느끼십니까? 아마 많은 분들이 그림이 있으면 이해가 더 잘 된다고 막연히 느끼실 겁니다. 그런데 동시에 이런 의심도 드시지요.
글과 그림을 함께 사용하면 언어 통로와 시각 통로가 동시에 작동해 기억 단서가 늘어납니다.
그림이야 보기 편하니까 그렇지, 진짜 공부는 글로 꼼꼼히 읽어야 하는 거 아니야? 그림은 그냥 보조일 뿐이잖아?
오늘은 이 통념을 정면으로 다뤄보겠습니다. 결론부터 말씀드리면, 그림은 단순한 보조 수단이 아닙니다.
우리 뇌는 언어를 처리하는 통로와 이미지를 처리하는 통로를 따로 가지고 있어서, 같은 정보를 글과 그림 두 가지로 받아들이면 두 개의 독립된 경로에 기억이 새겨집니다. 이것이 바로 이중 부호화 이론, 영어로 dual coding theory의 핵심인데요. 캐나다의 심리학자 앨런 페이비오(Allan Paivio)가 1971년에 제안한 이 이론은, 언어 정보와 시각 정보가 서로 다른 별개의 과정을 통해 장기 기억에 저장된다고 설명합니다 [3]. 핵심은 이것입니다. 기억으로 가는 길이 두 개라면, 나중에 어느 한쪽 길만 떠올라도 다른 쪽이 함께 끌려 나옵니다. 즉, 글을 잊어버려도 그림이 기억을 되살리고, 그림을 잊어버려도 글이 기억을 되살리는 것이지요. 그렇다면 왜 우리 뇌가 두 개의 통로를 가지고 있고, 그것을 어떻게 활용해야 하는지, 지금부터 차근차근 살펴보겠습니다.
뇌에는 두 개의 기억 통로가 있다
이중 부호화 이론의 출발점은, 인간의 인지가 서로 연결되어 있으면서도 독립적인 두 개의 표상 체계로 이루어져 있다는 발견입니다. 페이비오는 우리 마음속에 언어 체계와 비언어 체계, 즉 이미지 체계가 따로 존재한다고 보았습니다 [6]. 언어 체계는 말과 글 같은 언어 정보를 처리하고, 이미지 체계는 시각적이고 공간적인 정보를 처리합니다. 그리고 이 두 체계는 독립적으로 작동할 수도 있고, 동시에 나란히 작동할 수도 있는데, 두 체계를 함께 가동할 때 학습과 기억이 가장 효과적이라는 것이 이론의 핵심입니다 [6].
조금 더 구체적으로 설명해 보겠습니다. 작업 기억, 즉 우리가 지금 이 순간 의식적으로 정보를 처리하는 단기 기억 공간에는 두 개의 하위 부품이 있다고 알려져 있습니다. 하나는 시공간 잡기장, 영어로 visuospatial sketchpad이라고 부르는 것으로, 시각적이고 공간적인 정보를 잠시 붙들어 두는 일종의 정신적 스케치북입니다. 다른 하나는 음운 고리, 영어로 phonological loop라고 부르는 것으로, 말소리와 언어 정보를 처리하는 부분입니다 [5]. 이 둘은 서로 다른 통로이기 때문에, 한쪽이 가득 차 있어도 다른 쪽은 여유가 있습니다. 바로 여기에 이중 부호화의 첫 번째 이점이 있습니다.
쉽게 비유하자면 이렇습니다. 정보를 운반하는 일을 두 명의 일꾼이 나눠서 한다고 생각해 보십시오. 한 명에게 모든 짐을 다 지우면 금방 지쳐서 짐을 떨어뜨립니다. 그러나 두 명이 짐을 나눠 들면 각자 여유롭게 운반할 수 있지요. 글로만 공부하면 언어 통로 한 명에게 모든 부담이 쏠리지만, 글과 그림을 함께 쓰면 언어 일꾼과 시각 일꾼이 짐을 나눠 들기 때문에 전체적으로 더 많은 정보를 무리 없이 처리할 수 있는 것입니다. 어떻습니까? 그림이 단순한 장식이 아니라는 말이 이해가 되시지요?
왜 두 통로가 기억을 강하게 만드는가
두 개의 통로로 정보를 받아들이면, 기억으로 가는 길이 하나가 아니라 둘이 되기 때문에 인출 가능성이 크게 높아집니다. 이것이 이중 부호화의 두 번째이자 더 본질적인 이점인데요. 페이비오는 어떤 정보를 언어와 이미지 양쪽으로 부호화하면, 나중에 이미지를 떠올리는 것이 언어를 떠올리게 하고, 언어를 떠올리는 것이 이미지를 떠올리게 하는 상호 촉발이 일어난다고 보았습니다 [1]. 바로 이 때문에 그는 이것을 "이중" 부호화라고 불렀던 것입니다. 두 가지 부호가 모두 인출에 기여하니까요 [1].
이 원리를 일상의 예로 풀어보겠습니다. 누군가의 이름은 잘 기억나지 않는데 얼굴은 또렷이 떠오르는 경험, 다들 있으시지요? 혹은 반대로 노래 제목은 기억 안 나는데 멜로디는 흥얼거릴 수 있는 경우도 있습니다. 이것은 이름이라는 언어 정보와 얼굴이라는 시각 정보가 서로 다른 통로에 저장되기 때문입니다. 그런데 만약 어떤 사람을 만났을 때 그의 얼굴과 이름을 의식적으로 연결해 두었다면, 나중에 얼굴만 봐도 이름이 함께 떠오를 가능성이 높아집니다. 두 통로가 서로를 끌어당기기 때문이지요. 공부도 마찬가지입니다. 어떤 개념을 글로 읽으면서 동시에 그 개념을 나타내는 그림이나 도식을 함께 떠올리면, 시험장에서 둘 중 하나만 생각나도 나머지가 줄줄이 끌려 나오는 것입니다.
이러한 효과는 실제 연구로도 뒷받침됩니다. 추상적인 단어보다 구체적인 이미지와 연결된 단어가 더 잘 기억된다는 사실이 여러 실험에서 확인되었는데, 이것을 구체성 효과, 영어로 concreteness effect라고 부릅니다 [1]. 예를 들어 "사과"라는 단어는 빨갛고 둥근 이미지를 쉽게 떠올릴 수 있어 잘 기억되지만, "정의"나 "자유" 같은 추상적인 단어는 떠올릴 이미지가 마땅치 않아 기억하기 어렵습니다. 이 구체성 효과는 그림이 글보다 종종 더 기억에 잘 남는 이유를 설명해 주는 강력한 증거입니다 [1].
이중 부호화는 인지 부하를 줄여준다
이중 부호화가 효과적인 또 하나의 이유는, 우리 작업 기억의 제한된 용량을 더 효율적으로 쓰게 해주기 때문입니다. 여기서 인지 부하 이론, 영어로 cognitive load theory라는 개념을 알아둘 필요가 있습니다. 존 스웰러(John Sweller)가 1988년에 제안한 이 이론은, 우리의 작업 기억 용량이 매우 제한적이어서 한꺼번에 너무 많은 정보를 처리하려고 하면 과부하가 걸려 오히려 학습이 무너진다고 설명합니다 [4]. 다시 말해, 우리 머리는 동시에 처리할 수 있는 정보의 양에 분명한 한계가 있다는 것이지요.
그렇다면 이중 부호화가 어떻게 이 부담을 덜어줄까요? 앞서 말한 두 일꾼의 비유를 다시 떠올려 보십시오. 정보를 두 통로로 나누어 처리하면, 한 통로에 몰리는 부담이 줄어듭니다 [4]. 그래서 같은 양의 정보라도 글과 그림으로 나누어 제시하면, 글로만 제시할 때보다 작업 기억의 과부하가 덜 일어나고, 그만큼 정보가 장기 기억으로 더 잘 넘어가는 것입니다 [4].
이것이 바로 리처드 마이어(Richard Mayer)가 정립한 멀티미디어 학습 이론의 토대가 됩니다. 마이어는 1980년대 후반부터 실험을 통해, 사람들이 말로만 배울 때보다 말과 관련된 그림을 함께 볼 때 더 효과적으로 학습한다는 것을 거듭 입증했습니다 [원리]. 한 연구에서는 도표와 글을 함께 제시했을 때 이해도가 표준편차 0.48만큼 향상되었고, 또 다른 연구에서는 이중 부호화를 활용한 멀티미디어 학습이 시험 점수를 상당히 높였다는 결과도 보고되었습니다 [2]. 즉, 이중 부호화는 단순한 이론이 아니라 측정 가능한 효과를 내는 실용적 도구인 것입니다.
잘못 쓰면 오히려 독이 되는 이중 부호화
그러나 여기서 매우 중요한 경고를 하나 드려야 합니다. 그림을 아무렇게나 갖다 붙인다고 해서 이중 부호화의 효과가 나는 것은 결코 아닙니다. 많은 분들이 이 부분에서 오해합니다. "그림이 좋다니까 무조건 그림을 많이 넣으면 되겠지"라고 생각하는 것이지요. 하지만 이것은 큰 오산입니다. 연구가 분명히 밝힌 바에 따르면, 이중 부호화는 글과 그림이 개념적으로 일관되고, 시간적으로 나란히 제시되며, 인지적으로 경제적일 때만 학습을 돕습니다 [1].
이 조건들을 하나씩 풀어보겠습니다. 첫째, 개념적 일관성이란 그림이 글의 내용과 직접 관련이 있어야 한다는 뜻입니다. 본문과 무관한 분위기용 그림은 오히려 주의를 분산시켜 방해가 될 뿐입니다.
둘째, 시간적 정렬이란 글과 그림이 동시에, 혹은 바로 옆에 제시되어야 한다는 뜻입니다. 글을 다 읽은 한참 뒤에 관련 없는 자리에서 그림이 나오면, 두 통로를 연결할 기회를 놓치게 됩니다.
셋째, 인지적 경제성이란 그림이 너무 복잡하거나 장식적인 요소가 많아서 오히려 부담을 가중시켜서는 안 된다는 뜻입니다. 실제로 마이어는 이중 부호화가 언제 도움이 되고 언제 방해가 되는지를 가르는 일련의 설계 원칙을 정리했는데, 그중 하나인 양식 원리에 따르면 화면의 글자와 그림을 함께 보여주는 것보다, 말로 설명하면서 그림을 보여주는 편이 더 효과적입니다 [1]. 왜냐하면, 화면의 글자와 그림은 둘 다 시각 통로로 들어와 시각 통로에 과부하를 일으키지만, 말소리와 그림은 각각 다른 통로로 들어와 부담을 나누기 때문입니다.
따라서 이중 부호화를 제대로 활용하려면 다음과 같이 하십시오. 개념을 공부할 때 그것을 나타내는 간단한 도식이나 그림을 직접 그려보고, 그 그림과 핵심 용어를 나란히 연결하십시오. 다만 화려하게 그리려 애쓰지 말고, 핵심 관계만 담은 단순한 그림이면 충분합니다. 마인드맵, 흐름도, 비교표 같은 것들이 좋은 예인데요. 중요한 것은 예쁘게 그리는 것이 아니라, 글의 내용과 그림이 머릿속에서 하나로 연결되도록 만드는 것입니다.
자, 여기까지 이중 부호화에 대해 정리해 보겠습니다. 거꾸로 되짚어 보면 이렇습니다. 이중 부호화를 잘 쓰려면 글과 그림이 일관되고 나란히 제시되어야 했고, 그 효과가 나는 이유는 작업 기억의 부담을 두 통로로 나누어 인지 부하를 줄이기 때문이었으며, 더 본질적으로는 기억으로 가는 길이 둘이 되어 서로를 끌어당기기 때문이었고, 그 모든 것의 뿌리에는 인간의 뇌가 언어와 이미지를 처리하는 별개의 통로를 가지고 있다는 페이비오의 발견이 있었습니다. 글로만 읽지 마십시오. 그 옆에 그림 한 장을 그려 넣으십시오. 단, 글과 진짜로 연결되는 그림이어야 합니다. 그것이 두 개의 통로로 기억을 새기는 방법입니다.
참고문헌
Didau, D. The Dual Coding Delusion. https://daviddidau.substack.com/
Structural Learning. Dual Coding: Why Words and Images Together Strengthen Memory. https://www.structural-learning.com/
Third Space Learning. How Dual Coding Can Increase Student Learning. https://thirdspacelearning.com/
Cloud Assess. What is Dual Coding Theory? Benefits & Best Practices. https://cloudassess.com/
Cloud Assess. Dual Coding Theory (visuospatial sketchpad, phonological loop).
MedEdMentor. Dual Coding. https://mededmentor.org/
Paivio, A. (1971, 1986). Imagery and Verbal Processes / Mental Representations: A Dual Coding Approach.
Mayer, R. E. (2001). Multimedia Learning. Cambridge University Press.
Sweller, J. (1988). Cognitive Load During Problem Solving. Cognitive Science, 12(2), 257-285.
Structural Learning. Dual Coding: A Teacher's Guide to Visual Learning. https://www.structural-learning.com/post/dual-coding-a-teachers-guide
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.