7. 이미지·PDF·음성·영상 다루기: 멀티모달 활용 입문

텍스트만 입력하는 시대는 끝났다

Gemini의 진짜 강점은 글만 주고받는 채팅창에 있지 않습니다. 사진을 보여주고, PDF를 올리고, 음성으로 말하고, 영상까지 붙여서 함께 생각하게 만들 수 있다는 점이 훨씬 중요합니다. Gemini 웹 화면만 봐도 마이크 입력 기능이 보이고, 서비스 자체도 결과가 틀릴 수 있다고 안내합니다.¹

초보자에게 이 기능이 왜 좋을까요? 이유는 아주 단순합니다. 우리가 실제로 겪는 문제는 대부분 텍스트 한 줄로 설명하기 어렵기 때문입니다. 오류 화면은 스크린샷이 더 빠르고, 강의 자료는 PDF째 올리는 편이 낫고, 회의 메모는 직접 치는 것보다 음성으로 말하는 편이 편합니다. 영상도 마찬가지입니다. "이 영상 요약해 줘" 한마디가 메모장 몇 장보다 더 강력할 때가 많습니다.

쉽게 말해, 멀티모달은 내가 가진 자료를 Gemini가 더 사람답게 이해하게 만드는 방식입니다.

멀티모달을 잘 쓰는 가장 쉬운 공식

초보자는 파일만 올려 놓고 "요약해 줘"라고 끝내는 경우가 많습니다. 물론 그것도 되지만, 훨씬 잘 쓰는 방법이 있습니다.

질문은 보통 이 순서로 주면 좋습니다.

1. 무엇을 보낼지 말하기: 사진인지, PDF인지, 음성인지, 영상인지

2. 무엇이 궁금한지 말하기: 설명, 요약, 비교, 추출, 번역, 정리 중 무엇인지

3. 어떻게 받고 싶은지 말하기: 한 문단, 표, 체크리스트, 단계별 설명 등

예를 들어 같은 이미지라도 이렇게 달라집니다.

이 스크린샷은 휴대폰 설정 화면이야. 와이파이가 안 잡히는 이유를 초보자도 알 수 있게 설명해 줘.

이 사진은 냉장고 안이야. 오늘 저녁에 만들 수 있는 3가지 요리를 재료 낭비 적게 하는 순서로 추천해 줘.

이 PDF는 강의 자료야. 시험 대비용으로 핵심 개념, 자주 나올 용어, 예상 질문 5개를 정리해 줘.

핵심은 "자료 + 목적 + 출력 형식"입니다. 이 세 가지만 붙여도 답변 품질이 눈에 띄게 좋아집니다.

사진과 이미지: 설명보다 보여주는 편이 빠르다

이미지는 멀티모달의 입문용으로 가장 좋습니다. 사진 한 장이면 배경 설명을 길게 하지 않아도 되기 때문입니다. 특히 초보자는 사진 분석과 스크린샷 질문부터 시작하면 체감이 큽니다.

Gemini는 이미지 속 사물, 장면, 글자, 표, 화면 구조 같은 정보를 함께 보고 해석하는 데 강합니다. 그래서 단순히 "이게 뭐야?" 수준을 넘어, "왜 이런 문제가 생겼는지", "어떤 부분이 중요한지", "무엇을 먼저 봐야 하는지"까지 물어볼 수 있습니다.

가장 실용적인 예시는 이런 것들입니다.

• 앱 오류 화면 스크린샷을 올리고 해결 순서 묻기

• 쇼핑몰 상품 화면을 캡처해서 차이점 비교하기

• 차트나 그래프 이미지를 올리고 쉬운 말로 해설 받기

• 영문 안내문 사진을 찍고 번역과 요점 정리 받기

• 냉장고, 책상, 옷장 사진을 올리고 정리 방법 추천받기

예를 들어 컴퓨터 초보자가 자주 겪는 상황을 보겠습니다.

이 스크린샷은 노트북에서 뜬 오류 메시지야. 무슨 뜻인지 먼저 설명하고, 내가 집에서 해볼 수 있는 해결 방법을 1단계부터 적어 줘. 위험한 단계는 따로 표시해 줘.

이렇게 질문하면 Gemini는 단순 번역이 아니라 "문제 이해 → 우선순위 → 행동 순서"까지 정리해 줄 수 있습니다.

또 다른 실전 예시도 좋습니다.

이 사진 속 영수증에서 날짜, 가게 이름, 총액만 뽑아 줘. 그리고 가계부에 적기 좋은 형식으로 한 줄로 정리해 줘.

이 그래프 스크린샷을 보고 중학생도 이해할 수 있게 설명해 줘. 가장 많이 오른 값과 거의 변하지 않은 값을 따로 알려 줘.

이 영어 메뉴판 사진을 한국어로 번역하고, 매운 음식이 뭔지도 표시해 줘.

이미지를 올릴 때는 작은 글씨가 또렷하게 보이도록 자르거나 확대해서 보내는 습관이 좋습니다. 화면 전체를 올리면 중요한 부분이 묻히기 쉽기 때문입니다. "왼쪽 위 오류 코드만 봐 줘"처럼 어디를 봐야 하는지도 함께 말하면 더 정확해집니다.

스크린샷 질문은 '상황 설명'보다 '다음 행동'이 중요하다

스크린샷을 올릴 때 초보자가 가장 만족하는 질문은 보통 설명형보다 행동형입니다. 즉, "이게 뭐야?"보다 "그래서 내가 지금 뭘 하면 돼?"가 더 유용합니다.

예를 들어 이런 식입니다.

이 화면에서 다음에 어디를 눌러야 해? 비밀번호를 바꾸고 싶어.

이 결제 화면에서 정기결제가 되는지 아닌지 확인해 줘.

이 설정 화면에서 배터리를 아끼려면 꺼야 할 항목을 찾아 줘.

스크린샷은 초보자의 불안을 줄여 줍니다. 메뉴 이름을 몰라도 되고, 설명을 길게 쓰지 않아도 됩니다. 그냥 보여주고 묻는 편이 빠릅니다. 마치 옆 사람에게 화면을 보여주며 "이거 왜 이래?"라고 묻는 것과 비슷합니다.

PDF: 읽는 시간을 줄이고, 이해하는 시간을 늘리기

PDF는 멀티모달의 꽃이라고 해도 과장이 아닙니다. Gemini는 PDF를 단순히 글자만 뽑아 읽는 것이 아니라, 문서 안의 텍스트와 표, 차트, 이미지, 도식까지 함께 이해하도록 설계되어 있습니다. 공식 문서에서는 긴 PDF도 다룰 수 있고, 문서 전체 맥락 속에서 요약·질의응답·정보 추출을 할 수 있다고 설명합니다.²

이 말은 곧, 보고서나 강의자료를 다룰 때 꽤 강력하다는 뜻입니다. 특히 다음처럼 활용하면 좋습니다.

• 강의 자료 PDF를 올리고 시험 대비 요약 받기

• 회사 보고서를 올리고 핵심 숫자와 결론만 뽑기

• 논문 PDF를 올리고 쉬운 말로 풀어 달라고 하기

• 계약서나 안내문을 올리고 주의할 조항 찾기

• 제품 설명서를 올리고 내가 필요한 부분만 묻기

실전 예시를 몇 개 보겠습니다.

이 PDF는 발표 자료야. 전체 내용을 10줄로 요약하고, 발표자가 꼭 강조해야 할 핵심 3가지를 따로 뽑아 줘.

이 PDF는 강의 교안이야. 시험 공부용으로 핵심 개념, 헷갈리기 쉬운 부분, 예상 단답형 문제 5개를 만들어 줘.

이 PDF는 회사 보고서야. 숫자가 많이 나오는데, 매출과 비용, 앞으로의 리스크만 따로 정리해 줘.

이 논문 PDF를 대학 1학년 수준으로 설명해 줘. 어려운 용어는 괄호 안에 짧게 뜻도 써 줘.

PDF를 다룰 때 정말 유용한 습관이 하나 있습니다. 요약만 시키지 말고, 원문 근거를 같이 보이게 요청하는 것입니다.

예를 들면 이렇게 말하면 됩니다.

요약만 하지 말고, 관련 페이지나 표 제목도 함께 적어 줘.

이렇게 하면 나중에 원문을 다시 확인하기가 훨씬 쉬워집니다. Gemini는 편리하지만 언제나 맞는 것은 아니므로, 특히 숫자나 날짜, 인물명은 원본 PDF와 대조하는 습관이 안전합니다.¹

또 하나 기억할 점이 있습니다. 문서가 워드 파일이나 텍스트 파일일 때보다, PDF는 문서의 모양과 구조가 살아 있어 표와 차트 맥락을 이해시키는 데 유리합니다.²

음성: 손이 바쁠 때, 생각이 빠를 때 특히 강하다

음성은 생각보다 훨씬 실용적입니다. 타이핑이 느린 사람, 이동 중인 사람, 머릿속 아이디어를 빨리 쏟아내고 싶은 사람에게 특히 좋습니다. Gemini는 마이크 입력을 통해 말을 텍스트처럼 받아들이고, 오디오 이해 기능을 통해 음성을 요약하거나 내용을 바탕으로 질문에 답하는 식의 활용도 가능합니다.¹⁴

초보자는 음성을 두 가지 방식으로 떠올리면 됩니다.

첫째는 말로 질문 넣기입니다. 손으로 치기 귀찮을 때 그냥 말하면 됩니다.

오늘 해야 할 일을 정리해 줘. 은행 가기, 병원 예약하기, 발표 자료 수정하기가 있고, 오후 3시까지 끝내고 싶어.

이런 식으로 말하면 Gemini가 일정표처럼 정리해 줄 수 있습니다.

둘째는 녹음된 내용을 정리하기입니다. 회의, 인터뷰, 강의, 아이디어 메모처럼 음성 파일이 있을 때 특히 유용합니다.⁴

예를 들면 이렇게 활용할 수 있습니다.

이 녹음 파일 내용을 5줄로 요약해 줘. 해야 할 일과 결정된 사항만 따로 나눠 줘.

이 인터뷰 음성에서 중요한 답변만 뽑아 기사 초안처럼 정리해 줘.

이 강의 녹음을 바탕으로 복습 노트와 예상 질문 5개를 만들어 줘.

음성 입력의 장점은 속도입니다. 생각나는 대로 말해도 된다는 점이 큽니다. "정리가 안 된 말"도 괜찮습니다. 오히려 Gemini에게 정리 역할을 맡기면 됩니다.

예를 들어 출근길에 이런 식으로 말할 수 있습니다.

지금 생각나는 대로 말할게. 오늘 보고서 마감이 있고, 팀장님께 예산안도 보내야 하고, 점심 전에 거래처 전화도 해야 해. 이걸 우선순위별 체크리스트로 바꿔 줘.

이건 음성 메모와 비서 기능을 합쳐 놓은 느낌에 가깝습니다.

영상: 보는 내용과 들리는 내용을 함께 다룬다

영상은 텍스트보다 정보량이 많고, 사람은 그만큼 놓치는 것도 많습니다. Gemini의 비디오 이해 기능은 업로드한 영상이나 일부 환경에서 YouTube URL을 바탕으로 내용을 분석하고, 특정 시점 기준으로 질문하는 방식도 지원합니다.³

이 기능이 좋은 이유는 영상이 단순한 소리 덩어리가 아니기 때문입니다. 슬라이드에 적힌 글, 화면 전환, 등장 물체, 말하는 내용이 한데 섞여 있습니다. Gemini는 이런 요소를 함께 보며 이해하도록 설계되었습니다.³

초보자에게 잘 맞는 활용은 다음과 같습니다.

• 강의 영상 요약

• 회의 녹화본 핵심 정리

• 유튜브 설명 영상 핵심만 추리기

• 제품 사용 영상의 단계별 절차 정리

• 아이가 발표 연습한 영상을 보고 개선점 찾기

실전 예시는 이렇게 만들면 좋습니다.

이 강의 영상을 10분 안에 복습할 수 있게 요약해 줘. 핵심 개념, 예시, 시험에 나올 만한 포인트로 나눠 줘.

이 회의 영상을 보고 결정된 사항, 미정인 사항, 담당자별 할 일을 정리해 줘.

이 유튜브 영상을 처음 보는 사람도 이해할 수 있게 7줄 요약으로 정리해 줘. 중요한 장면이 있다면 시간대도 함께 적어 줘.

이 제품 사용 영상을 보고 따라 하기 쉬운 순서로 사용법을 단계별로 적어 줘.

영상은 길어질수록 질문을 잘게 나누는 편이 좋습니다. 처음부터 "모든 걸 다 정리해 줘"라고 하기보다, 먼저 전체 요약을 받고, 그다음 "3분 20초부터 5분까지 핵심만 다시 설명해 줘"처럼 좁혀 가면 훨씬 유용합니다. 공식 문서도 타임스탬프를 활용한 질의를 지원한다고 안내합니다.³

멀티모달은 조합할수록 더 강해진다

여기서 한 단계만 더 가보겠습니다. 멀티모달의 진짜 재미는 하나만 쓰는 것이 아니라 섞어 쓰는 데 있습니다.

예를 들어 이런 식입니다.

사진 + 질문:

이 운동 자세 사진을 보고 허리가 불편한 이유를 초보자 눈높이로 설명해 줘.

PDF + 역할 지정:

이 채용 공고 PDF를 보고 내가 지원자라고 생각하고 자기소개서에 넣을 강점 3가지를 뽑아 줘.

영상 + 출력 형식:

이 발표 영상을 보고 발표 피드백을 표로 정리해 줘. 좋은 점, 아쉬운 점, 바로 고칠 점으로 나눠 줘.

음성 + 후속 작업:

이 회의 녹음을 요약한 뒤, 팀 채팅방에 올릴 공지문 형식으로 다시 써 줘.

이렇게 되면 Gemini는 단순 요약기가 아니라 자료를 이해하고, 다시 쓰고, 정리해 주는 작업 도우미가 됩니다.

초보자가 바로 써먹는 프롬프트 묶음

아래 문장들은 그대로 복사해서 써도 좋습니다.

이 이미지를 보고 무슨 상황인지 먼저 설명해 줘. 그다음 내가 지금 취할 수 있는 행동을 순서대로 알려 줘.

이 스크린샷에서 중요한 버튼이나 메뉴를 찾아 줘. 초보자도 헷갈리지 않게 설명해 줘.

이 PDF를 1분 요약, 5분 요약, 자세한 요약 세 가지 버전으로 정리해 줘.

이 PDF에서 숫자, 날짜, 이름처럼 중요한 정보만 먼저 뽑아 줘.

이 음성 내용을 들었다고 생각하고, 해야 할 일 목록과 일정 제안으로 나눠 줘.

이 영상의 핵심 메시지를 알려 주고, 놓치기 쉬운 장면이 있다면 시간대와 함께 적어 줘.

이 자료를 바탕으로 중학생 수준, 직장인 수준, 발표용 버전 이렇게 세 가지로 다시 설명해 줘.

질문이 막막할 때는 마지막 문장 하나만 기억하면 됩니다.

이 자료를 보고, 내가 원하는 방식으로 다시 정리해 줘.

이 한 줄이 멀티모달의 핵심입니다.

잘 안 될 때는 대부분 이 다섯 가지 문제다

멀티모달이 편리해도 한 번에 완벽하지는 않습니다. 답이 아쉬울 때는 보통 아래 다섯 가지 중 하나입니다.

• 파일이 흐리거나 글씨가 너무 작다

• 질문이 너무 넓어서 무엇을 원하는지 모른다

• 한 번에 너무 많은 작업을 시킨다

• 원본 자체에 노이즈가 많다

• 중요한 검증 없이 답을 그대로 믿는다

예를 들어 PDF 요약이 밋밋하다면 "시험 대비용", "회의 보고용", "사장님께 보고할 버전"처럼 목적을 붙여 보세요. 영상 요약이 엉뚱하다면 "전체 줄거리"보다 "핵심 주장 3개"처럼 범위를 좁혀 보세요. 이미지 분석이 부정확하다면 화면을 잘라서 다시 올려 보세요.

그리고 가장 중요한 점 하나. Gemini는 편리하지만 틀릴 수 있습니다. 서비스도 이 점을 분명히 안내합니다.¹ 특히 숫자, 의료 정보, 법률 문구, 계약 조건, 결제 금액처럼 실수가 치명적인 정보는 반드시 원본과 비교해야 합니다.

멀티모달을 쓰기 시작하면 Gemini가 달라 보인다

지금까지 Gemini를 "질문하면 답하는 챗봇" 정도로 느꼈다면, 이 장부터는 인식이 바뀔 가능성이 큽니다. 사진을 붙이면 눈이 생기고, PDF를 넣으면 읽는 능력이 넓어지고, 음성을 주면 손보다 빠르게 일하고, 영상을 더하면 장면과 맥락까지 다루게 됩니다.

이제부터는 무언가를 길게 설명하려고 애쓰기보다 먼저 생각해 보세요.

이걸 그냥 보여주면 더 빠르지 않을까?

그 질문이 떠오르기 시작하면, 멀티모달 활용은 이미 시작된 것입니다.

참고

¹Google Gemini

²Document understanding  Gemini API  Google AI for Developers

³Video understanding  Gemini API  Google AI for Developers

⁴Audio understanding  Gemini API  Google AI for Developers