멀티모달 개요
멀티모달은 텍스트만이 아니라 이미지, 음성(그리고 일부 환경에서는 영상/화면까지) 같은 여러 입력을 함께 이해해서 답변, 요약, 추론을 해주는 방식이다. 즉 "말로 설명하기 어려운 상황"을 그대로 보여주거나 들려주고, 그 위에서 필요한 작업(정리/비교/진단/재작성)을 시킬 수 있다. 최근 모델들은 이미지·오디오 같은 입력을 더 자연스럽게 다루는 쪽으로 계속 강화되는 흐름이라, 같은 질문이라도 "텍스트로 설명"할 때보다 정확한 단서를 얻는 경우가 많다.1
다만 제공 범위는 앱(웹/모바일), 계정 플랜, 지역, 정책에 따라 달라질 수 있다. 기능이 안 보이면 먼저 앱 업데이트, 로그인한 계정의 플랜, 그리고 조직/기기 권한(회사 MDM 등)을 확인하는 게 빠르다.2
이미지(사진/스크린샷) 입력 사용법
웹에서는 채팅 입력창의 첨부(클립/+)로 이미지를 올린 다음, 텍스트로 질문을 쓰고 전송하면 된다. 모바일에서는 채팅의 + 버튼에서 사진을 선택하거나 카메라로 촬영해 붙이고, 질문을 입력해 전송한다.
이미지 질문은 "그림이 뭔지 맞혀봐"처럼 던지면 답이 두루뭉술해지기 쉽다. 내가 원하는 결과를 먼저 고정해두면 성공률이 확 올라간다. 아래는 바로 써먹기 좋은 요청 틀이다.
"이 이미지에서 보이는 것을 1)요약 2)핵심 요소 목록 3)가능한 문제점/오류를 찾아줘"
"이 영수증/표/스크린샷을 텍스트로 추출해 표로 정리해줘(열: ...)"
"이 UI 화면에서 사용 흐름을 설명하고, 개선 아이디어 5가지를 제안해줘"
"이 그래프를 해석하고 결론을 3줄로 정리해줘"
품질을 끌어올리는 요령은 생각보다 단순하다. 목표(무엇을 알고 싶은지)와 맥락(어디서 나온 이미지인지)을 먼저 주고, 출력 형식(표/불릿/JSON)과 제약(길이/톤/우선순위 기준)을 같이 적는 것이다. 프롬프트를 "말로 하는 프로그램"처럼 다룰수록 결과가 안정적으로 나온다.3
그리고 작은 글씨/세부 수치가 중요한 이미지라면, 원본 1장만 올리지 말고 확대하거나 필요한 부분만 크롭한 이미지를 한 장 더 올리는 게 좋다. 모델이 '읽을 수 있는 해상도'로 단서를 제공하는 게 핵심이다.
음성(Voice) 사용법
모바일에서는 헤드폰/음성 아이콘을 누르거나 음성 대화로 들어가서 말로 질문하면 된다. 음성은 "생각을 정리하면서 말하기"에 특히 강하다. 타이핑보다 속도가 빠르고, 중간에 끊겨도 이어서 말하면 흐름이 유지된다. 최근 업데이트들은 음성 대화에서 지시를 더 잘 따르고 도구 사용도 더 매끄럽게 만드는 방향으로 개선되는 흐름이라, 루틴 작업(정리/분류/액션아이템화)에 붙이기 좋다.2
활용 예로는 회의 메모를 구술하고 "핵심 결정사항/할일/담당자/기한" 형태로 정리시키는 방식이 있다. 언어 연습도 잘 맞는다. 예를 들어 "내 발음을 교정하고 자연스러운 표현 5개를 제안해줘"처럼 요청하면, 내가 말한 문장을 더 자연스럽게 다듬는 방향으로 피드백을 받을 수 있다.
팁은 시작 문장에 역할/목표를 고정하는 것이다. 예를 들어 "너는 회의 비서야. 내가 말하면 액션아이템으로 정리해."처럼 한 번 박아두면, 이후 대화가 산만해지지 않는다. 맥락과 구체성이 품질을 좌우한다는 원칙은 음성에서도 똑같이 적용된다.3
파일(PDF/문서/표) 기반 작업(가능한 경우)
가능한 환경에서는 채팅에 PDF나 문서, 표 파일을 첨부하고 작업을 시킬 수 있다. 이때 "요약해줘"만 던지면 결과가 평범해지기 쉬우니, 처음부터 내가 쓸 산출물 형태를 지정하는 게 좋다. 요약은 수단이지 목적이 아닌 경우가 많아서, 원하는 의사결정/업무 흐름에 맞춰 결과물을 설계하는 편이 효율적이다.
예를 들어 이런 식으로 말하면 된다.
"이 PDF를 1쪽 요약 + 용어정리 + 리스크/가정 목록으로 정리해줘"
"이 계약서에서 불리한 조항/모호한 표현을 표로 뽑아줘(조항, 원문, 리스크, 수정 제안)"
여기서 '원문' 칸은 특히 유용하다. 모델의 해석(리스크/수정 제안)과 근거(원문)를 같은 행에 두면, 내가 검토할 때 훨씬 빠르고 안전해진다.
멀티모달 프롬프트 작성 체크리스트
멀티모달은 입력이 풍부한 만큼, 지시도 "어디를 봐야 하는지"까지 내려줘야 한다. 이미지라면 "빨간 박스 부분만", "표의 3열 수치만", "오른쪽 상단 경고 문구"처럼 시선을 고정해준다.
다음으로 작업 동사를 분명히 한다. 추출할 건지, 분류할 건지, 비교할 건지, 진단할 건지, 요약할 건지, 아이디어를 낼 건지를 한 문장에 못 박으면 결과가 흔들리지 않는다.3
마지막으로 출력 형식을 정한다. 표인지, 마크다운인지, JSON인지, 길이는 어느 정도인지, 정렬 기준은 무엇인지(중요도 순/시간 순/리스크 큰 순)를 주면 바로 실무에 붙일 수 있는 형태로 나온다.
검증 장치를 넣는 것도 중요하다. "불확실한 부분은 추정하지 말고 질문해줘"라고 말하면, 애매한 부분을 그럴듯하게 채우는 대신 확인 질문을 하게 만들 수 있다. 또는 "근거(이미지에서 보이는 단서)를 함께 적어줘"라고 하면 결과가 덜 과감해지고 검토하기 쉬워진다.
주의사항(품질·보안)
이미지, 음성, 파일에는 개인/민감정보가 섞이기 쉽다. 주민번호, 계정정보, 주소, 내부 기밀 같은 건 올리기 전에 가리거나 익명화하는 습관이 필요하다. 특히 스크린샷은 의도치 않게 알림/메일/토큰이 찍히는 경우가 많다.
또 모델은 글자를 잘못 읽거나(특히 작은 글씨), 표 구조를 착각하거나, 맥락을 과하게 일반화할 수 있다. 중요한 의사결정(금액/법적 의무/안전 관련)은 반드시 원문·원자료로 재확인해야 한다.
의료/법률/재무는 참고용으로만 쓰고, 최종 판단은 전문가 검토를 권장한다. 멀티모달이 "더 많이 봐주는 도구"인 건 맞지만, 책임까지 대신 져주지는 않는다.
빠른 예시 모음(복붙용)
"(이미지 첨부) 이 화면 오류 원인을 가설 3개로 나누고, 각 가설별 확인 절차를 단계로 써줘"
"(이미지 첨부) 이 표를 CSV로 변환해줘"
"(파일 첨부) 이 문서에서 KPI 후보를 10개 뽑고, 정의/측정법/데이터소스를 표로 작성해줘"
내 사용 목적에 맞게 커스터마이즈할 질문
당신이 주로 하는 업무(역할)와, 결과물을 어디에 쓰는지(보고/개발/영업/학습)를 알려줄 수 있나요?
이미지·문서·음성 중에서 가장 자주 다루는 입력은 무엇이고, 예시 하나를 들어줄 수 있나요?
원하는 출력 포맷은 무엇인가요(표/마크다운/JSON/메일 초안/회의록 템플릿 등)?
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.