2부-4장. Gemini 3.1 Pro로 1500페이지를 한 번에 읽히기

짧은 질문에 짧은 대답을 받는 일은 이제 대부분의 AI가 합니다. 하지만 책 한 권, 회의록 100개, 논문 50편을 한꺼번에 올려 두고 서로 연결된 맥락까지 잡아내는 일은 아직 아무 모델에게나 쉬운 일이 아닙니다. 제미나이의 진짜 무기는 바로 여기서 드러납니다. 잘 쓰면 '답변 생성기'가 아니라 '사고력 증폭기'가 됩니다.

Gemini 3.1 Pro는 텍스트뿐 아니라 이미지, 오디오, 영상, PDF, 코드까지 한 흐름 안에서 다룰 수 있고, 입력은 최대 1,048,576토큰, 출력은 최대 65,536토큰까지 지원합니다.¹ 숫자만 보면 감이 잘 안 오지만, 대략 장편 책 여러 권이나 방대한 문서 묶음을 한 번에 올려 놓고 읽히는 수준이라고 생각하면 됩니다.¹²

중요한 건 '많이 넣을 수 있다'가 아닙니다. 더 중요한 건 '많이 넣은 뒤 어떻게 읽게 만들 것인가'입니다. 이 장에서는 그 방법을 다룹니다.

긴 컨텍스트는 왜 사고력을 키우는가

긴 컨텍스트의 장점은 단순히 기억력이 좋아진다는 데 있지 않습니다. 모델이 앞에서 본 정보와 뒤에서 본 정보를 한 화면 안에서 연결해 볼 수 있다는 점이 핵심입니다. 사람으로 치면 책상 위에 자료를 펼쳐 놓고 비교하며 생각하는 상태에 가깝습니다.

예를 들어 일반적인 짧은 대화형 사용 방식에서는 이런 문제가 자주 생깁니다. 첫 번째 문서에서 말한 정의를 잊고, 세 번째 문서의 예외 조항을 놓치고, 여덟 번째 회의록에서 이미 뒤집힌 결론을 다시 제안합니다. 문맥이 짧으면 모델이 멍청해서가 아니라, 애초에 참고할 작업대가 좁은 겁니다.

반대로 1M 토큰 컨텍스트를 제대로 활용하면 다음 같은 일이 가능해집니다.

• 한 권짜리 보고서를 장별로 요약하는 것이 아니라, 전체 논지와 반복 패턴까지 잡아낸다.

• 여러 회의록을 읽고 '처음에는 A안이 우세했지만 7월 이후 비용 이슈 때문에 B안으로 이동했다' 같은 흐름을 뽑아낸다.

• 논문 여러 편을 동시에 놓고 공통 결론과 충돌 지점을 분리한다.

• 긴 계약서 묶음에서 자주 바뀌는 조항만 골라낸다.

여기서 중요한 감각이 하나 있습니다. 긴 컨텍스트는 검색창이 아닙니다. 창고도 아닙니다. '한꺼번에 생각할 수 있는 작업대'입니다. 작업대가 넓어졌다고 해서 사고가 자동으로 정교해지지는 않습니다. 질문 방식이 좋아져야 합니다.

1M 토큰을 실전 감각으로 이해하기

'1500페이지를 한 번에 읽힌다'는 말은 마케팅 문구처럼 들릴 수 있습니다. 실제로는 문서의 언어, 표 밀도, 그림 수, PDF 구조에 따라 들어가는 토큰 수가 크게 달라집니다. 같은 200페이지라도 소설은 가볍고, 표와 각주가 많은 보고서는 무겁습니다.

그래도 실전 감각은 필요합니다. 1M 토큰은 대략 수십만 단어급 분량으로, 긴 책 여러 권을 한 번에 다루는 감각에 가깝습니다.² 여기에 PDF, 이미지, 오디오, 영상까지 섞일 수 있으니 '문서 한 뭉치'가 아니라 '프로젝트 전체 자료실'을 통째로 올리는 방식으로 사고하는 편이 맞습니다.¹

또 하나 기억할 점이 있습니다. 제미나이는 문서의 텍스트만 읽는 것이 아니라 문서의 시각적 요소를 함께 이해하는 작업도 지원합니다. 즉, PDF 안의 본문만이 아니라 표, 다이어그램, 레이아웃까지 문맥으로 삼아 요약하거나 질의응답할 수 있습니다.³ 다만 스캔 품질이 좋지 않거나 표 구조가 복잡한 PDF는 기대보다 덜 깔끔하게 읽힐 수 있습니다. 특히 Vertex AI 문서 기준으로 스캔된 PDF의 OCR은 기본 활성화가 아니므로, '사진 같은 PDF'를 '텍스트 PDF'처럼 기대하면 실망하기 쉽습니다.¹

그래서 긴 문서를 잘 다루는 핵심 원칙은 하나입니다.

한 번에 다 넣되, 한 번에 다 묻지 마라.

먼저 버려야 할 오해

긴 자료를 다룰 때 가장 흔한 실패는 자료 양이 아니라 질문의 모호함에서 생깁니다. 예를 들어 800페이지짜리 자료를 넣고 '요약해줘'라고 하면, 모델은 대체로 무난하고 평평한 답을 냅니다. 읽긴 읽었는데, 당신이 진짜 원한 것이 무엇인지는 모르기 때문입니다.

긴 문서 분석에서는 질문이 보통 세 단계로 나뉘어야 합니다.

• 지도 만들기: 이 자료가 어떻게 구성되어 있는지 먼저 파악한다.

• 목적 질문: 내가 알고 싶은 판단 포인트를 명확히 던진다.

• 검증 요청: 답의 근거를 문서 내부 인용이나 출처와 함께 요구한다.

이 세 단계가 빠지면, 긴 컨텍스트는 오히려 독이 됩니다. 자료를 많이 넣은 만큼 그럴듯한 말도 더 길어지기 때문입니다.

실전 패턴 1. 긴 문서 요약은 '압축'이 아니라 '구조화'다

많은 사람이 요약을 '짧게 줄이는 일'로 생각합니다. 하지만 긴 문서 요약의 본질은 '구조를 재배열하는 일'에 가깝습니다. 특히 500페이지가 넘는 자료는 한 번에 한 단락 요약을 시키기보다, 먼저 전체 지도를 만들게 해야 합니다.

가장 안정적인 순서는 이렇습니다.

첫째, 문서의 구조를 잡게 합니다. 둘째, 장별 핵심 주장과 근거를 나누게 합니다. 셋째, 마지막에 독자 목적에 맞는 요약을 다시 뽑습니다. 이 순서를 거치면 모델이 '무엇이 핵심인지'를 먼저 정리한 뒤 압축하기 때문에, 덜 헛소리하고 덜 놓칩니다.

다음 프롬프트는 긴 보고서 한 권을 읽힐 때 유용합니다.

긴 문서 1차 구조화 프롬프트
아래 자료를 먼저 요약하지 말고 구조화하세요.

1. 문서의 전체 목적을 한 문장으로 설명하고

2. 주요 섹션을 7~12개로 나눈 뒤

3. 각 섹션마다 핵심 주장, 사용된 근거, 반복되는 개념을 정리하세요.

4. 아직 결론을 단정하지 말고, 문서 내부에 실제로 있는 내용만 쓰세요.

5. 마지막에 '이 문서를 더 잘 요약하기 위해 필요한 후속 질문 5개'를 제안하세요.

이렇게 하면 제미나이가 먼저 문서의 뼈대를 세웁니다. 그다음에야 비로소 진짜 요약을 시켜야 합니다.

긴 문서 2차 요약 프롬프트
위에서 만든 구조를 바탕으로 이 문서를 다음 세 버전으로 다시 요약하세요.
A. 경영진용 10문장 요약
B. 실무자용 체크리스트 요약
C. 발표용 5개 슬라이드 개요
각 버전에서 빠뜨리면 안 되는 숫자, 기한, 위험 요소를 표시하세요.

이 방식의 장점은 하나의 문서에서 여러 결과물을 뽑아낼 수 있다는 점입니다. 즉, 같은 600페이지를 세 번 읽히는 것이 아니라, 한 번 읽힌 뒤 용도별로 재가공하는 겁니다. 긴 컨텍스트의 효율은 바로 여기서 나옵니다.

실전 패턴 2. 여러 문서 비교는 '공통 질문틀'이 먼저다

문서가 여러 개일 때 사람들은 보통 이렇게 묻습니다. '이 논문들 비교해줘.' 하지만 비교는 비교 기준이 있어야 가능합니다. 기준 없이 비교를 시키면 모델은 제목, 분위기, 결론 몇 줄만 주워 모아 적당히 비슷해 보이는 표를 내놓기 쉽습니다.

좋은 비교는 먼저 질문틀을 고정하는 데서 시작합니다. 예를 들어 논문 50편을 비교한다면, 다음처럼 비교 축을 미리 박아 두는 편이 좋습니다.

• 연구 목적

• 사용 데이터 또는 표본

• 방법론

• 핵심 결과

• 한계

• 실무 적용 가능성

그 다음에는 비교 결과를 한 번에 받으려 하지 말고, 두 번에 나누어 받는 게 낫습니다. 첫 번째 요청에서는 각 문서를 같은 형식으로 정리하게 합니다. 두 번째 요청에서는 그 정리본끼리 비교하게 합니다. 즉, 비교 전에 먼저 정규화하는 겁니다.

여러 문서 비교 프롬프트
첨부된 문서들을 동일한 프레임으로 정리하세요. 각 문서마다 다음 항목만 추출하세요: 목적, 대상, 방법, 핵심 발견, 한계, 저자가 주장하는 실무적 의미.
문서별 요약이 끝나면, 그 결과만 바탕으로 공통점 5개, 차이점 5개, 서로 충돌하는 주장 3개를 정리하세요.
추정하지 말고 문서에 명시된 내용과 그에 대한 해석을 구분해서 쓰세요.

이 패턴은 회의록 묶음에도 잘 먹힙니다. 회의록 100개를 읽힐 때는 각 회의의 분위기를 요약하게 하지 말고, '결정 사항', '미결 이슈', '담당자', '다음 액션'만 먼저 뽑게 하세요. 그러면 그 다음 질문에서 '반복해서 미뤄진 안건'이나 '부서별 병목' 같은 흐름이 훨씬 선명하게 드러납니다.

실전 패턴 3. 추출은 '요약'보다 더 돈이 된다

실무에서 가장 가치 있는 작업은 종종 요약이 아니라 추출입니다. 왜냐하면 요약은 읽는 시간을 줄여 주지만, 추출은 바로 행동하게 만들기 때문입니다.

예를 들어 이런 요청이 더 실용적입니다.

• 계약서 묶음에서 해지 조항만 뽑아라.

• 100개의 고객 인터뷰에서 가격 관련 불만 문장만 추출하라.

• 논문 30편에서 표본 수와 실험 기간만 표로 정리하라.

• 회의록 60개에서 결정이 뒤집힌 안건만 골라라.

추출 작업의 핵심은 두 가지입니다. 하나는 출력 형식을 고정하는 것, 다른 하나는 근거 위치를 함께 요구하는 것입니다. Gemini 3.1 Pro는 구조화된 출력도 지원하므로, 자유서술보다 표나 JSON 같은 고정 형식을 요구할수록 후처리가 쉬워집니다.¹

정밀 추출 프롬프트
첨부된 자료에서 '가격 인상', '해지', '위약금', '예외 조항'과 관련된 내용만 추출하세요.
표 형식으로 정리하되 열은 다음과 같이 고정하세요: 문서명, 페이지 또는 섹션, 원문 인용, 분류 태그, 한줄 해설.
원문에 없는 내용은 쓰지 말고, 애매하면 '불확실'로 표시하세요.

여기서 '원문 인용' 칸이 특히 중요합니다. 이 칸이 있어야 나중에 사람이 바로 검토할 수 있습니다. AI가 뽑아 준 결과를 사람이 검토하는 속도는, AI가 처음부터 대신 읽는 속도보다 훨씬 빠릅니다. 바로 이것이 실무 자동화의 핵심입니다.

긴 문서에서 환각이 생기는 이유

긴 컨텍스트가 있다고 해서 환각이 사라지는 것은 아닙니다. 오히려 자료가 많아질수록 모델은 빈칸을 메우려는 유혹을 더 크게 받습니다. 특히 다음 상황에서 환각이 잘 생깁니다.

첫째, 질문이 문서 밖의 상식을 은근히 요구할 때입니다. 둘째, 문서 안에 답이 없는데도 모델이 '아마 그럴 것' 같은 연결을 시도할 때입니다. 셋째, 추출과 해석을 한 번에 시킬 때입니다.

예를 들어 논문 20편을 넣고 '현재 업계의 최선의 전략을 제안해줘'라고 하면, 문서 안의 사실 요약과 모델의 외부 추론이 뒤섞입니다. 이 순간부터는 어느 부분이 자료 기반이고, 어느 부분이 모델의 일반론인지 흐려집니다.

그래서 긴 문서 작업에서는 읽기와 판단을 분리해야 합니다.

그라운딩: 제미나이의 답변에 말뚝을 박는 법

그라운딩은 모델의 출력을 확인 가능한 정보원에 묶어 두는 방식입니다. 쉽게 말해, 제미나이가 공중부양하지 못하게 바닥에 말뚝을 박는 일입니다. 구글 문서에서도 그라운딩의 핵심 이점으로 환각 감소, 특정 데이터 소스에 대한 응답 고정, 출처 제공을 제시합니다.⁴

제미나이에서 기억해야 할 구분은 단순합니다.

• 긴 컨텍스트는 많은 자료를 한 번에 보게 하는 기능입니다.

• 그라운딩은 무엇을 근거로 대답하는지 묶어 두는 기능입니다.

• 둘을 함께 써야 긴 문서 분석이 실무 수준으로 올라갑니다.

Google Search 그라운딩을 켜면 제미나이는 필요할 때 검색을 수행하고, 그 결과를 바탕으로 더 최신의 답을 만들 수 있으며, 관련 출처와 검색 질의 정보도 함께 반환할 수 있습니다.⁵ 이 기능이 왜 중요하냐면, 긴 문서를 읽고 난 뒤에도 최신 시장 데이터나 최근 발표처럼 문서 바깥의 사실이 필요할 수 있기 때문입니다.

실제로 검색 그라운딩이 없으면 지식 컷오프에 묶인 오래된 답이 나올 수 있고, 검색 그라운딩을 켜면 최신 정보와 함께 더 정확한 응답을 얻을 수 있다는 예시가 공식 자료에서 제시됩니다.⁶

환각을 줄이는 5단계 그라운딩 습관

긴 문서를 제미나이에 읽힐 때는 아래 다섯 가지 습관만 지켜도 결과 품질이 크게 올라갑니다.

1. 문서 안의 사실과 모델의 해석을 분리하라

가장 먼저 써야 할 문장은 이것입니다.

문서에 명시된 내용과 당신의 해석 또는 추론을 구분해서 표시하세요.

이 한 줄이 있으면 제미나이는 적어도 '문서 기반'과 '모델 판단'을 나누려는 태도를 보입니다. 완벽하진 않지만, 그냥 묻는 것보다 훨씬 안전합니다.

2. 근거를 원문 단위로 요구하라

'근거를 제시해'는 약합니다. '원문 인용과 페이지 또는 섹션 위치를 함께 써라'가 강합니다. 사람이 검증할 수 있어야 그라운딩이 의미가 있습니다.

3. 추출 후 해석, 이 순서를 지켜라

먼저 사실을 뽑고, 그다음에 해석하게 하세요. 예를 들어 계약서 분석이면 조항 추출이 먼저이고, 리스크 평가는 나중입니다. 논문 리뷰라면 결과·표본·한계 추출이 먼저이고, 통합 결론은 그다음입니다.

4. 최신성이 필요한 질문에는 검색 그라운딩을 붙여라

문서가 2024년 보고서인데 질문은 2026년 시장 상황이라면, 긴 컨텍스트만으로는 부족합니다. 이때는 Google Search 그라운딩을 써서 최신 사실을 붙여야 합니다.⁵⁶

5. 답이 없으면 '없다'고 말하게 훈련하라

가장 중요한 습관일지도 모릅니다.

자료에 명시적 근거가 없으면 추정하지 말고 '자료에서 확인되지 않음'이라고 답하세요.

이 문장 하나가 AI의 과한 친절을 꽤 많이 막아 줍니다.

긴 컨텍스트가 있어도 청킹이 필요한 순간

1M 토큰이면 이제 청킹은 끝났다고 생각하기 쉽습니다. 절반만 맞는 말입니다. 예전보다 덜 쪼개도 되는 것은 맞지만, 모든 경우에 통째로 넣는 것이 정답은 아닙니다.

특히 아래 경우에는 여전히 분할 전략이 유용합니다.

• 문서가 스캔본 위주라서 파싱 품질이 들쭉날쭉할 때

• 표, 이미지, 각주가 지나치게 많은 복잡한 PDF일 때

• 하나의 질문이 아니라 반복 호출이 필요한 워크플로일 때

• 매번 같은 긴 배경 자료를 다시 넣어야 해서 비용이 아까울 때

즉, 컨텍스트 한도가 넓어졌다고 해서 정보 설계가 사라진 것은 아닙니다. 단지 '억지로 잘게 쪼개야만 하던 시대'가 끝난 것입니다.

또 복잡한 레이아웃 문서는 전처리의 도움을 받는 편이 낫습니다. 구글 개발자 자료에서도 LLM만으로도 문서 파싱이 가능하지만, 대규모 문서 컬렉션이나 복잡한 레이아웃에서는 전용 파서와 전처리가 일관성과 신뢰성을 높일 수 있다고 설명합니다.⁷

쉽게 말해, 깨끗한 텍스트는 제미나이가 바로 읽히고, 엉킨 스캔 PDF는 먼저 정리해 먹이는 편이 낫습니다.

30분 실습: 책 한 권을 '읽힌 뒤 활용하는' 워크플로

이 장의 내용을 가장 빨리 체감하는 방법은 긴 문서 하나를 실제로 넣어 보는 것입니다. 논문보다 책 목차가 있는 PDF가 더 좋습니다. 구조가 선명해서 결과 차이를 바로 느낄 수 있기 때문입니다.

실습은 다음 순서로 해보면 됩니다.

먼저 PDF를 올리고, 바로 요약을 시키지 말고 구조화부터 요청합니다. 문서의 목적, 섹션 분류, 반복 개념을 뽑게 하세요. 그 다음에는 자신이 원하는 결과물 형태를 지정합니다. 예를 들어 블로그 글감, 강의안, 실무 체크리스트, 인터뷰 질문 등으로 바꾸게 합니다. 마지막에는 검증 프롬프트를 붙입니다. 숫자, 인용, 핵심 주장에 대해 원문 근거를 다시 달라고 하세요.

아래 순서를 그대로 따라 하면 됩니다.

• 1단계: '이 문서를 8~12개 주제로 구조화해줘'라고 요청한다.

• 2단계: '핵심 주장과 근거를 분리해 표로 정리해줘'라고 요청한다.

• 3단계: '초보자용 요약, 실무자용 요약, 발표용 요약으로 각각 다시 써줘'라고 요청한다.

• 4단계: '위 답변에서 숫자와 사실 주장마다 근거 위치를 붙여줘'라고 요청한다.

• 5단계: 최신 통계가 필요한 대목만 따로 빼서 검색 그라운딩과 함께 검증한다.⁵⁶

이 다섯 단계만 익혀도, 제미나이는 '요약 잘하는 챗봇'에서 '자료를 읽고 다시 일하게 만드는 도구'로 바뀝니다.

결국 핵심은 읽히는 양이 아니라 질문의 설계다

Gemini 3.1 Pro의 1M 토큰 컨텍스트는 분명 강력합니다. 책 한 권, 회의록 수십 개, 논문 뭉치를 한 번에 올려 놓고 다루는 일은 이제 현실적인 작업이 되었습니다.¹² 하지만 진짜 실력 차이는 스펙에서 나오지 않습니다.

누군가는 1000페이지를 넣고도 뻔한 요약만 얻습니다. 다른 누군가는 같은 1000페이지에서 구조를 뽑고, 쟁점을 비교하고, 행동에 필요한 항목만 추출한 뒤, 마지막에 그라운딩으로 근거까지 잠급니다. 전자는 AI를 '대답 기계'로 쓰는 사람이고, 후자는 AI를 '생각 정리 도구'로 쓰는 사람입니다.

이 장에서 꼭 가져가야 할 한 문장을 남기고 싶습니다.

긴 컨텍스트의 진짜 힘은 더 많이 말하게 만드는 데 있지 않고, 더 많은 자료를 놓고 더 정확하게 생각하게 만드는 데 있다.

참고

¹Gemini 3.1 Pro on Vertex AI

²Gemini 3.1 Pro Pricing: $2.00/$12 per M — 1M Context, Video

³Document understanding | Gemini API | Google AI for Developers

⁴그라운딩 개요

⁵Grounding with Google Search | Gemini API | Google AI for Developers

⁶Gemini API and Google AI Studio now offer Grounding with Google Search

⁷Build a smart financial assistant with LlamaParse and Gemini 3.1