멀티모달 입력으로 문서·이미지·영상 분석하기
멀티모달은 "자료를 함께 읽히는 방식"이다
Google AI Studio의 강점은 텍스트만 다루지 않는다는 데 있다. Gemini 모델은 텍스트, 이미지, 오디오, 동영상 같은 여러 형식의 입력을 함께 이해하도록 설계되어 있다.1 그래서 사용자는 긴 설명을 모두 글로 옮기지 않아도 된다. PDF를 올리고 질문하거나, 제품 사진을 첨부해 개선점을 묻거나, 회의 녹음과 회의 안건 문서를 함께 넣어 정리할 수 있다.
기본 흐름은 단순하다. Playground에서 모델을 선택하고, 입력창의 첨부 기능으로 파일이나 이미지를 추가한 뒤, "이 자료로 무엇을 해 달라"는 지시를 함께 적는다. 중요한 점은 파일을 올리는 것이 끝이 아니라는 것이다. AI가 어떤 관점으로 읽어야 하는지, 어떤 형식으로 답해야 하는지를 프롬프트에 함께 써야 결과가 안정된다.
긴 문서는 먼저 범위를 정한다
PDF, 보고서, 계약서, 논문처럼 긴 문서는 AI Studio에서 특히 유용하다. Gemini는 긴 문서 안의 텍스트뿐 아니라 표, 차트, 도식 같은 시각 요소까지 분석하고, 필요한 정보를 구조화된 형식으로 추출할 수 있다.2
다만 "요약해 줘"라고만 쓰면 결과가 넓고 얕아진다. 긴 문서일수록 범위와 목적을 분명히 해야 한다.
예를 들어 보고서 PDF를 넣었다면 이렇게 요청한다.
이 PDF를 임원 보고용으로 분석해 줘.
전체 핵심 요약 5줄
장별 주요 논점
숫자가 포함된 주요 지표 표
실행해야 할 액션 아이템
추가 확인이 필요한 리스크
계약서라면 관점을 바꾼다.
이 계약서에서 우리 회사에 불리할 수 있는 조항을 찾아줘.
조항 번호, 원문 요지, 위험 이유, 수정 제안 순서의 표로 정리해 줘.
긴 문서 분석의 핵심은 "찾기 → 뽑기 → 정리하기" 순서다. 처음부터 결론을 요구하기보다, 먼저 관련 부분을 찾게 하고, 그다음 정보를 추출하고, 마지막에 요약하게 하면 정확도가 높아진다.
이미지는 설명보다 변환이 중요하다
이미지를 첨부하면 Gemini는 사진 속 객체, 문서의 글자, 화면 구성, 디자인 요소를 읽고 설명할 수 있다. 하지만 실무에서는 단순 묘사보다 "분석 결과를 어디에 쓸지"가 더 중요하다.
제품 사진을 올렸다면 다음처럼 요청할 수 있다.
이 제품 사진을 상세페이지 관점에서 분석해 줘.
보이는 특징, 고객이 궁금해할 점, 강조할 장점, 보완하면 좋은 촬영 요소, 마케팅 문구 3개를 작성해 줘.
앱 화면 캡처를 넣었다면 이렇게 바꾼다.
이 화면을 UX 관점에서 검토해 줘.
사용자가 헷갈릴 수 있는 부분, 버튼 배치 문제, 문구 개선안, 접근성 체크리스트로 나눠 정리해 줘.
문서 스캔 이미지라면 OCR처럼 텍스트를 뽑는 데서 끝내지 말고, "표로 재작성", "오탈자 검토", "메일 초안으로 변환"처럼 다음 작업까지 이어가면 효율이 커진다.
영상과 오디오는 시간 기준으로 묻는다
동영상과 오디오는 긴 흐름을 가진 자료다. Gemini API 문서에서도 동영상 파일을 업로드한 뒤 요약하도록 처리하는 흐름을 제공한다.3 AI Studio에서도 같은 방식으로 영상·음성 자료를 분석할 때는 시간 기준을 넣으면 좋다.
예를 들어 강의 영상이라면 다음처럼 요청한다.
이 영상의 내용을 시간대별로 요약해 줘.
각 구간마다 핵심 개념, 예시, 실습 과제를 표로 정리해 줘.
회의 녹음이라면 다음이 더 실용적이다.
이 오디오를 회의록 초안으로 정리해 줘.
안건, 결정 사항, 담당자, 마감일, 미해결 질문을 구분해 줘.
영상 분석에는 한계도 있다. 화질이 낮으면 화면 속 작은 글자를 놓칠 수 있고, 음질이 나쁘면 발화자를 구분하기 어렵다. 영상 길이, 파일 크기, 모델별 지원 범위에 따라 처리 방식도 달라질 수 있다. 중요한 자료라면 "확실하지 않은 내용은 추정하지 말고 불확실하다고 표시해 줘"라는 문장을 함께 넣는 것이 좋다.
여러 자료를 함께 넣으면 비교가 가능하다
멀티모달의 진짜 장점은 자료를 따로 분석하는 데서 끝나지 않는다. PDF와 이미지, 영상과 설명 문서, CSV와 보고서를 함께 넣어 서로 맞는지 확인할 수 있다.
예를 들어 제품 보고서 PDF와 제품 사진을 함께 첨부하고 이렇게 묻는다.
보고서의 제품 설명과 실제 이미지가 일치하는지 비교해 줘.
일치하는 점, 불일치하는 점, 설명에 빠진 시각적 특징, 고객에게 추가로 알려야 할 내용을 표로 정리해 줘.
영상 매뉴얼과 텍스트 설명서를 함께 넣었다면 누락된 단계나 서로 다른 표현을 찾아낼 수 있다. 이때 프롬프트에는 "두 자료를 각각 요약한 뒤 비교해 줘"라고 쓰는 것이 좋다. 바로 비교를 요청하는 것보다, 각 자료의 핵심을 먼저 분리하게 해야 오류가 줄어든다.
출력 형식까지 지정해야 재사용할 수 있다
분석 결과는 읽고 끝나면 아깝다. 업무에 다시 쓰려면 형식을 지정해야 한다. 보고용이면 요약문, 협업용이면 체크리스트, 데이터 처리용이면 JSON이나 표가 좋다.
예시는 다음과 같다.
결과를 다음 형식으로 출력해 줘.
3줄 요약
Markdown 표
담당자에게 보낼 이메일 초안
후속 질문 5개
AI Studio에서 이 프롬프트가 잘 작동하는지 확인했다면, 나중에는 Get Code나 Gemini API 연동으로 같은 분석 흐름을 서비스나 자동화 작업에 연결할 수 있다. 즉, 멀티모달 입력은 단순한 "파일 첨부" 기능이 아니다. 흩어진 자료를 한곳에 모아 읽고, 비교하고, 바로 쓸 수 있는 결과물로 바꾸는 작업 방식이다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.