문서 기반 RAG를 PDF에 붙이는 순간, 갑자기 답변 품질이 흔들립니다. 이유는 간단합니다. PDF/스캔 문서는 "텍스트 덩어리"가 아니라 표, 그림, 캡션, 주석, 다단 구성 같은 시각적 단서로 의미가 완성되는 매체라서요. 이 글에서는 왜 기존 OCR+청킹 방식이 자주 실패하는지, 그 빈틈을 ColPali 같은 "비전 문서 검색(Visual RAG)" 접근이 어떻게 메우는지, 그리고 2026년 흐름인 '필요한 부분만 읽는' AgenticOCR까지 한 번에 정리해봅니다.1
OCR 기반 청킹이 표·그림 앞에서 자주 미끄러지는 이유
예를 들어 재무보고서의 표를 OCR로 뽑아 500토큰 단위로 자르면, 열 제목과 값이 다른 청크로 갈라지기 쉽습니다. 질문이 "전압 제한이 뭐야?"처럼 딱 한 칸을 겨냥해도 검색은 제목 청크만 잡고 값은 놓칠 수 있죠. 그러면 LLM은 '아는 척'으로 빈칸을 메우기 시작합니다. (우리가 흔히 보는 환각의 시작점입니다.)2
더 큰 문제는 "레이아웃 맥락"입니다. 표의 행·열 관계, 그림과 캡션의 결합, 각주가 가리키는 대상 같은 것들은 텍스트만 뽑는 순간 쉽게 끊어집니다.1 그래서 OCR 정확도가 아무리 좋아져도, 문서가 복잡해질수록 성능이 천장에 부딪히는 느낌이 납니다.
레이아웃 분해 파이프라인이 길어질수록 '약한 고리'가 늘어난다
현업에서 흔한 해법은 OCR 다음에 레이아웃 탐지로 표/그림/본문을 분리하고, 요소별 후처리(표는 마크다운 변환, 그림은 캡셔닝 등)까지 얹는 방식입니다. 하지만 단계가 늘어날수록 "각 단계의 품질이 전체 성능을 결정"하는 구조가 됩니다.1
게다가 운영 난이도도 올라갑니다. GPU 자원, 배치 처리, 모델 조합, 예외 케이스(회전된 표, 작은 글씨 주석, 복잡한 수식)까지 고려하면 '데모는 되는데 프로덕션은 불안한' 상태가 되기 쉽죠. 실제로 문서 전처리를 단순 텍스트화로 끝내면 표 구조가 무너져 의사결정/컴플라이언스에서 치명적 오류가 난다는 지적도 계속 나옵니다.3
ColPali식 "페이지 스냅샷 검색"이 주는 직관적인 이점
ColPali가 주목받은 이유는 발상을 바꿨기 때문입니다. 애초에 OCR로 문서를 "텍스트로 환원"하지 말고, 페이지 이미지를 그대로 검색 단위로 삼아 레이아웃 의미를 보존하자는 접근이죠. 시각적 계층(제목/본문/표/그림)이 유지되니 "표의 구조가 깨져서 숫자가 떠돌아다니는" 상황이 줄어듭니다.
다만 여기에도 병목이 있습니다. 페이지 단위로 통째로 가져오면 헤더/푸터/장식 요소 같은 '쓸모없는 맥락'이 함께 들어와 생성 모델의 주의를 분산시키고, 한정된 비주얼 토큰 예산에 문서를 욱여넣다 디테일이 뭉개지기 쉽습니다. 결과적으로 중요한 증거가 흐려져 환각 위험이 다시 커질 수 있다는 지적이 나옵니다.4
2026년 해법: "다 읽지 말고, 필요한 곳만 확대해서 읽자(AgenticOCR)"
그래서 최근엔 "페이지 통째"와 "텍스트 청킹" 사이의 간극을 메우는 방향이 뜹니다. AgenticOCR은 OCR을 고정 전처리가 아니라, 질문에 맞춰 필요한 영역만 찾아 확대/회전 등으로 '그 부분만' 인식하는 방식으로 재정의합니다. 이렇게 하면 검색은 페이지/영역 단위로 하되, 정작 읽기는 근거가 있는 부분에만 고해상도로 집중할 수 있어 토큰 낭비와 잡음이 줄어듭니다.4
쉽게 말해, 기존 방식이 "문서 전체를 미리 다 뜯어 저장"했다면, 이 방식은 "찾아온 후보 페이지에서 정답 근처만 현미경으로 확인"하는 느낌입니다. ColPali로 큰 지도를 펼친 다음, AgenticOCR로 필요한 좌표만 확대해 읽는 조합이 점점 자연스러운 스택이 되는 거죠.
시사점
PDF RAG가 불안정한 팀이라면, 문제를 LLM 탓으로 돌리기 전에 "문서가 가진 시각적 의미를 우리가 얼마나 보존했는지"부터 점검하는 게 빠릅니다.1 표/그림이 많은 문서라면 텍스트 청킹만으로는 한계가 분명하고, 그렇다고 페이지 통째 투입도 토큰·잡음 병목이 큽니다.4
실전 팁은 간단합니다. 표 정확도가 중요하면 최소한 표는 구조(마크다운 등)로 보존하고, 검색 단위는 페이지/영역처럼 "레이아웃이 유지되는 단위"를 우선 검토하세요.3 그리고 다음 단계로는 "필요한 부분만 읽는" 온디맨드 파싱(AgenticOCR류)을 붙여 토큰을 증거에 집중시키는 전략이 가장 설득력 있는 업그레이드 경로입니다.4
참고
1AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation
2Most RAG systems don't understand sophisticated documents -- they shred them
3How to Build a Document Processing Pipeline for RAG with Nemotron
4AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.