11부 57장. 멀티모달이란 무엇인가

우리는 오랫동안 AI를 "글로 말 걸면 글로 답하는 도구"로 배워 왔다. 검색창에 질문을 넣고, 챗봇에게 문장을 쓰게 하고, 요약을 부탁하는 식이다. 그래서 많은 사람이 AI를 떠올릴 때 가장 먼저 생각하는 것도 텍스트다.

하지만 현실의 정보는 원래 텍스트만으로 이루어져 있지 않다. 사람은 문서를 읽고, 사진을 보고, 목소리를 듣고, 영상을 이해하고, 음악의 분위기를 느낀다. 업무도 마찬가지다. 회의는 음성으로 진행되고, 보고서는 텍스트로 남고, 제품 설명은 이미지와 영상으로 전달되며, 브랜드는 소리와 음악까지 함께 사용한다. 세상 자체가 원래 멀티모달인데, 이제 AI도 그쪽으로 따라오고 있는 것이다.

이 장에서는 멀티모달이 무엇인지, 왜 중요한지, 그리고 앞으로 AI 활용이 왜 텍스트 중심을 넘어가고 있는지를 차근차근 정리해 보겠다.

모달리티란 무엇인가

먼저 "모달리티"라는 말부터 쉽게 풀어보자. 모달리티는 정보를 표현하는 방식, 또는 정보를 담는 형태라고 생각하면 된다. 글은 글의 방식으로 의미를 담고, 이미지는 색과 구도와 형태로 의미를 담고, 음성은 말투와 억양과 속도로 의미를 담는다.

예를 들어 같은 내용을 전달하더라도 방식에 따라 정보가 달라진다. "그 사람은 화가 났다"라는 문장은 텍스트다. 하지만 실제 화난 얼굴 사진에는 표정 정보가 담기고, 화난 목소리 녹음에는 억양과 세기가 담긴다. 영상이라면 몸짓과 상황까지 들어간다. 즉, 같은 사건도 어떤 모달리티로 보느냐에 따라 드러나는 정보가 달라진다.

멀티모달은 이런 여러 모달리티를 함께 이해하거나, 함께 생성하거나, 서로 변환하는 능력을 뜻한다.

대표적인 모달리티는 다음과 같다.

• 텍스트: 문장, 문서, 코드, 자막, 표 설명

• 이미지: 사진, 그림, 도표, 스크린샷, 디자인 시안

• 음성: 사람의 말, 낭독, 회의 녹음, 음성 메모

• 비디오: 장면의 흐름, 동작, 카메라 움직임, 시간 변화

• 음악과 오디오: 멜로디, 리듬, 분위기, 효과음, 배경음

예전의 AI가 주로 텍스트를 읽고 텍스트를 내놓는 데 강했다면, 멀티모달 AI는 이제 사진을 보고 설명하고, 음성을 듣고 요약하고, 글을 바탕으로 이미지를 만들고, 이미지와 텍스트를 함께 입력받아 판단하는 쪽으로 확장되고 있다.

텍스트 AI와 멀티모달 AI의 차이

텍스트 중심 AI는 말 그대로 언어를 주재료로 삼는다. 문장 패턴을 파악하고, 질문에 답하고, 문서를 정리하고, 초안을 쓰는 데 매우 강하다. 이 능력만으로도 이미 많은 일이 바뀌었다.

하지만 텍스트만으로는 다 담기지 않는 일이 너무 많다. 예를 들어 사용자가 "이 UI가 왜 불편한지 알려줘"라고 말할 때, 텍스트 AI는 화면을 보지 못하면 추측만 할 수 있다. 반면 멀티모달 AI는 스크린샷을 함께 보고 버튼 위치, 글자 크기, 색 대비, 정보 밀도를 바탕으로 더 구체적인 피드백을 줄 수 있다.

또 다른 예를 보자. 회의 내용을 정리할 때 텍스트 AI는 회의록이 있어야 잘 일한다. 그런데 멀티모달 AI는 회의 녹음을 받아 화자를 구분하고, 주요 의사결정을 요약하고, 액션 아이템까지 뽑아낼 수 있다. 입력의 종류가 달라지면서 AI의 활용 범위도 크게 넓어지는 것이다.

한마디로 정리하면 이렇다. 텍스트 AI는 "말해 준 것"을 잘 다루고, 멀티모달 AI는 "보여 주고 들려준 것까지" 다루기 시작했다.

왜 지금 멀티모달이 중요해졌는가

멀티모달이 중요한 이유는 단순히 기술이 화려해져서가 아니다. 실제 문제를 푸는 방식이 더 현실에 가까워졌기 때문이다.

우리가 일하고 배우고 창작하는 현장을 떠올려 보자. 기획자는 자료를 읽을 뿐 아니라 차트를 본다. 디자이너는 말로만 일하지 않고 시안을 본다. 개발자는 에러 로그만 보지 않고 화면 캡처와 실행 영상을 같이 본다. 마케터는 문구만 만들지 않고 썸네일, 광고 영상, 내레이션, 배경음악까지 한 흐름으로 다룬다.

즉, 실제 작업은 원래부터 복합적이었다. 다만 과거의 AI는 그중 텍스트 영역에만 주로 들어와 있었을 뿐이다. 이제는 AI가 더 많은 입력을 받아들이고 더 다양한 형태로 결과를 내보낼 수 있게 되면서, "한 번 질문하고 한 번 답받는 도구"를 넘어 "여러 재료를 함께 다루는 작업 파트너"로 바뀌고 있다.

여기서 중요한 변화가 하나 더 있다. 앞으로는 잘 쓰는 사람이 단순히 프롬프트를 잘 쓰는 사람에 머물지 않는다. 어떤 정보를 어떤 형식으로 준비해 넣을지, 어떤 입력을 먼저 줄지, 텍스트와 이미지와 음성을 어떻게 연결할지 아는 사람이 더 좋은 결과를 얻는다. 멀티모달 시대에는 질문만 중요한 것이 아니라 입력의 설계 자체가 중요해진다.

멀티모달 AI는 무엇을 할 수 있는가

멀티모달 AI의 능력은 크게 세 방향으로 볼 수 있다.

첫째는 여러 형식의 입력을 이해하는 것이다. 예를 들어 사진을 보고 설명하거나, 슬라이드 이미지를 읽고 발표 내용을 추정하거나, 녹음 파일을 듣고 요약하는 일이다.

둘째는 한 형식에서 다른 형식으로 변환하는 것이다. 텍스트 설명을 이미지로 만들고, 긴 영상을 요약문으로 바꾸고, 회의 음성을 할 일 목록으로 바꾸는 식이다.

셋째는 여러 형식을 연결해 하나의 작업 흐름을 만드는 것이다. 예를 들어 사용자가 제품 사진을 올리고 설명 문장을 입력하면, AI가 광고 문구를 만들고, 썸네일 방향을 제안하고, 짧은 홍보 영상 콘셉트까지 이어서 잡아 주는 방식이다.

이 세 가지를 보고 있으면 멀티모달은 단순히 "기능이 많아졌다"는 말로는 부족하다는 걸 알 수 있다. 더 정확히 말하면, AI가 현실의 작업 재료를 더 많이 다룰 수 있게 된 것이다.

사람은 원래 멀티모달하게 생각한다

멀티모달이 중요한 또 하나의 이유는 사람의 사고방식과 더 닮아 있기 때문이다. 사람은 글만 읽고 판단하지 않는다. 표정을 보고, 분위기를 듣고, 화면을 보고, 맥락을 함께 묶어서 이해한다.

예를 들어 선생님이 학생 발표를 평가한다고 해 보자. 발표 원고만 읽으면 내용은 알 수 있다. 하지만 실제 발표를 보면 속도, 시선 처리, 긴장감, 청중 반응 같은 추가 정보가 보인다. 그 정보는 텍스트에 다 담기지 않는다.

그래서 멀티모달 AI는 인간처럼 완전히 이해한다는 뜻은 아니더라도, 적어도 인간이 사용하는 정보의 종류에 더 가까이 다가가고 있다고 볼 수 있다. 이 차이는 실전에서 꽤 크다. 특히 교육, 디자인, 고객 지원, 의료 보조, 콘텐츠 제작, 소프트웨어 개발 같은 분야에서 그렇다.

같은 정보라도 모달리티가 바뀌면 의미가 달라진다

여기서 한 가지 흥미로운 점이 있다. 같은 내용도 어떤 모달리티로 주어졌는지에 따라 AI가 다루는 방식이 달라진다.

예를 들어 "이 방은 아늑한 분위기다"라는 문장은 꽤 추상적이다. 하지만 실제 방 사진을 보여 주면 조명, 가구 배치, 색감, 질감, 공간 밀도 같은 단서가 즉시 생긴다. 반대로 사진만 있으면 사용자의 의도는 अस्पष्ट할 수 있다. 이때 "북유럽풍은 싫고, 따뜻한 카페 느낌을 원한다"라는 텍스트를 함께 주면 해석이 선명해진다.

즉, 멀티모달의 강점은 단순히 입력이 여러 개인 데 있지 않다. 서로 다른 모달리티가 서로의 빈칸을 메워 준다는 데 있다. 텍스트는 의도를 명확히 하고, 이미지는 구체성을 제공하고, 음성은 감정과 강조를 담아 준다. 영상은 변화와 흐름을 드러내고, 음악은 분위기를 만든다.

이 조합 덕분에 앞으로의 AI 활용은 점점 "한 문장 잘 쓰기"에서 "여러 신호를 잘 묶기"로 이동하게 된다.

멀티모달 시대의 대표적인 활용 장면

멀티모달이 실제로 어떻게 쓰이는지 감을 잡으려면 장면을 떠올려 보는 게 좋다.

업무에서는 회의 녹음을 넣어 요약본과 후속 할 일을 뽑을 수 있다. 교육에서는 칠판 사진, 교재 PDF, 학생 질문 음성을 함께 넣어 설명을 재구성할 수 있다. 디자인에서는 스케치 이미지와 짧은 설명을 바탕으로 시안 방향을 다양하게 탐색할 수 있다. 개발에서는 에러 메시지 텍스트에 더해 스크린샷이나 화면 녹화를 같이 보여 주면서 문제 원인을 더 빠르게 좁힐 수 있다. 마케팅에서는 제품 사진, 브랜드 톤 설명, 광고 목표를 결합해 카피와 이미지 콘셉트, 짧은 영상 아이디어를 한 번에 발전시킬 수 있다.

이 장면들을 보면 공통점이 하나 있다. 원래 사람 여러 명이 넘겨받으며 하던 일이, 하나의 연결된 흐름으로 묶이기 시작한다는 점이다. 텍스트 전용 AI가 문장 하나를 잘 써 주는 조수였다면, 멀티모달 AI는 재료를 넘겨받아 결과물의 여러 층위를 동시에 다루는 조수에 가깝다.

멀티모달은 단지 입력이 늘어난 것이 아니다

많은 사람이 멀티모달을 "텍스트 말고 이미지도 받는 것" 정도로 생각한다. 물론 그것도 맞다. 하지만 더 중요한 변화는 작업 단위가 커진다는 데 있다.

텍스트 중심 AI는 질문과 답변이라는 왕복에 강하다. 반면 멀티모달 AI는 관찰, 해석, 생성, 변환, 검토를 한 흐름 안에서 연결할 수 있다. 예를 들어 다음과 같은 식이다.

• 화면을 본다

• 문제를 설명한다

• 수정 방향을 제안한다

• 수정된 시안을 만든다

• 설명 문구까지 붙인다

이런 흐름은 단일 텍스트 답변보다 훨씬 작업에 가깝다. 그래서 멀티모달은 앞으로 워크플로와 더 강하게 연결된다. 단순히 "질문을 잘하는 법"이 아니라 "재료를 어떤 순서로 넣고 무엇을 다음 단계로 넘길 것인가"가 더 중요해진다.

멀티모달이라고 해서 다 잘 이해하는 것은 아니다

여기서 기대를 조금 현실적으로 조정할 필요가 있다. 멀티모달 AI가 이미지나 음성을 다룬다고 해서 사람처럼 완전히 이해하는 것은 아니다. 사진을 보더라도 맥락을 틀리게 짚을 수 있고, 음성을 듣더라도 화자 구분이 흐트러질 수 있으며, 영상의 시간 흐름을 피상적으로만 파악할 수도 있다.

특히 시각 정보는 겉보기에 그럴듯한 설명을 잘 만들어 내기 때문에 사용자가 쉽게 속을 수 있다. AI가 자신 있게 말하더라도 실제로는 사진 속 작은 디테일을 놓쳤을 수 있다. 음성도 마찬가지다. 잡음이 많거나 여러 사람이 겹쳐 말하면 요약 품질이 떨어질 수 있다.

그러므로 멀티모달을 쓸 때는 "더 많이 본다"는 점만 믿으면 안 된다. 오히려 "입력이 다양해질수록 검증 포인트도 늘어난다"는 사실을 기억해야 한다.

멀티모달 시대에 사용자가 바뀌어야 할 점

앞으로 AI를 잘 쓰는 사람은 단순히 문장을 매끄럽게 쓰는 사람이 아니다. 어떤 작업에 어떤 모달리티가 필요한지 판단하는 사람이 된다.

예를 들어 설명하기 어려운 문제는 말로 길게 쓰기보다 스크린샷 한 장을 함께 주는 편이 낫다. 긴 회의는 직접 메모를 정리하려 애쓰기보다 녹음과 안건 문서를 같이 주는 편이 좋다. 디자인 감성처럼 텍스트만으로 전달이 어려운 영역은 참고 이미지와 금지 요소를 함께 제공해야 결과가 선명해진다.

즉, 질문 능력 위에 자료 구성 능력이 올라간다. 이것이 멀티모달 시대의 핵심 변화다.

좋은 사용자는 이제 이런 판단을 한다.

• 이 작업은 텍스트만으로 충분한가

• 이미지나 음성을 추가하면 모호함이 줄어드는가

• 어떤 입력이 가장 중요한 기준 역할을 하는가

• 결과를 어떤 형식으로 받아야 다음 단계가 쉬운가

이런 감각이 쌓이면 AI는 훨씬 덜 답답해진다. 반대로 멀티모달 도구를 쓰면서도 텍스트만 고집하면, 강력한 기능의 절반만 쓰게 된다.

멀티모달을 이해할 때 꼭 알아둘 세 가지 관점

멀티모달을 처음 배울 때는 세 가지 관점으로 보면 정리가 쉽다.

첫째, 입력의 관점이다. 무엇을 넣을 수 있는가를 보는 것이다. 텍스트, 이미지, 음성, 영상, 음악이 여기에 해당한다.

둘째, 출력의 관점이다. 무엇을 받을 수 있는가를 보는 것이다. 설명문, 요약문, 그림, 목소리, 자막, 편집 아이디어, 장면 구성안 등이 여기에 들어간다.

셋째, 연결의 관점이다. 하나의 형식이 다른 형식으로 어떻게 이어지는가를 보는 것이다. 예를 들어 음성을 텍스트로 바꾸고, 그 텍스트를 다시 발표 자료 초안으로 만들고, 거기서 홍보용 이미지 콘셉트까지 뽑아내는 흐름이다.

이 세 가지를 함께 보면 멀티모달은 더 이상 막연한 유행어가 아니라, 입력과 출력과 워크플로의 문제라는 점이 분명해진다.

앞으로 왜 텍스트 중심을 넘어서게 되는가

텍스트는 여전히 매우 중요하다. 아마 앞으로도 중심 축 중 하나일 것이다. 생각을 정리하고, 지시를 명확히 하고, 결과를 검토하는 데 텍스트만큼 다루기 좋은 형식은 많지 않다.

그런데 현실의 작업이 더 복합적이기 때문에, 텍스트만으로는 한계가 있다. 이미지가 필요한데 글로만 설명하면 오래 걸리고, 음성 기록이 있는데 다시 손으로 받아 적으면 비효율적이며, 영상 내용을 텍스트로만 다루면 시간 흐름 정보가 빠진다.

결국 미래의 AI 활용은 텍스트를 버리는 방향이 아니라, 텍스트를 중심 허브로 삼되 다른 모달리티와 연결하는 방향으로 갈 가능성이 크다. 텍스트는 지시와 정리의 언어로 남고, 이미지와 음성, 영상과 음악은 재료와 결과물의 층위를 넓혀 준다.

그래서 멀티모달 시대를 이해한다는 것은 "이제 글은 필요 없다"를 뜻하지 않는다. 오히려 "글만으로는 부족한 순간을 알아차릴 줄 아는 것"에 가깝다.

이 장의 핵심 정리

멀티모달은 텍스트, 이미지, 음성, 영상, 음악처럼 서로 다른 정보 형식을 함께 이해하고 생성하고 연결하는 능력이다. 이 변화가 중요한 이유는 현실의 일과 학습과 창작이 원래부터 멀티모달했기 때문이다.

이제 AI는 문장만 잘 쓰는 도구를 넘어, 화면을 보고, 소리를 듣고, 장면을 요약하고, 여러 형식의 결과를 오가며 작업을 도와주는 방향으로 움직이고 있다. 따라서 앞으로 AI를 잘 쓴다는 것은 프롬프트를 잘 쓰는 것만이 아니라, 어떤 재료를 어떤 형식으로 주고받을지를 설계하는 능력까지 포함하게 된다.

다음 장부터는 이 큰 그림 위에서, 이미지 모델을 어떻게 이해하고 어떻게 잘 써야 하는지 더 구체적으로 살펴보게 될 것이다.