jina-ocr-v1: 저비용 GPU를 위한 문서 파싱 설계
문서 OCR은 글자 인식에 그치지 않는다. 표와 차트의 구조, 수식, 읽기 순서까지 복원해야 하므로 입력과 출력이 길어지고 추론 비용도 커진다. Jina AI의 jina-ocr-v1은 PDF, 스캔, 표, 차트, 송장을 구조화된 Markdown으로 변환하면서 이러한 비용을 줄이는 데 초점을 맞춘 시각 문서 파서다.1
시각 정보를 압축해 입력 비용을 줄인다
jina-ocr-v1은 페이지 전체와 세부 영역을 함께 처리한다. DeepEncoder는 1024×1024 전역 이미지를 구성하는 4,096개 패치를 256개 시각 토큰으로 압축한다. 작은 글씨처럼 세밀한 분석이 필요할 때는 로컬 타일당 100개 토큰을 추가한다. 로컬 타일은 최대 9개이므로 페이지당 시각 토큰 수는 최대 1,156개다.12
비전 인코더는 약 8천만 매개변수의 SAM, 16배 합성곱 계층, 약 3억 매개변수의 CLIP-L로 구성된다.2 핵심은 전체 페이지를 무조건 고해상도 토큰으로 펼치는 대신, 전역 문맥은 압축하고 필요한 영역에만 세부 토큰을 배정하는 것이다.
MoE로 토큰당 연산량을 제한한다
jina-ocr-v1은 전체 약 34억 개 매개변수를 갖지만, 토큰마다 활성화되는 매개변수는 약 5억 7천만 개다. 모든 매개변수를 매번 사용하는 대신 일부 전문가만 선택하는 MoE 구조를 적용했기 때문이다.
디코더는 12개 계층과 1,280차원 은닉 상태로 구성된다. 라우팅 전문가 64개와 공유 전문가 2개 가운데 토큰마다 6개를 선택한다.2 어휘 크기는 129,280개이며 위치 길이 한도는 32,768이다.2 이 구조는 긴 문서 출력을 지원하면서도 토큰별 연산을 제한하는 데 목적이 있다.
FastMTP로 긴 출력의 병목을 완화한다
문서를 Markdown으로 변환하면 출력 토큰이 길어져 순차 디코딩이 병목이 되기 쉽다. FastMTP는 하나의 밀집 드래프트 블록을 재귀적으로 사용해 다음 세 토큰을 미리 제안한다. 이후 검증기는 드래프트와 정식 모델의 출력이 일치하는 가장 긴 접두부만 채택한다.12
따라서 선행 제안이 최종 greedy 출력 자체를 바꾸지 않으면서, 여러 토큰을 한 번에 확정할 기회를 만든다. 다만 FastMTP 가속은 Transformers 경로가 아니라 vLLM에서 사용해야 한다.1
벤치마크보다 운영 조건을 함께 봐야 한다
jina-ocr-v1은 OmniDocBench v1.6에서 91.14점, olmOCR-Bench에서 83.4점을 기록했다. A100 환경에서는 초당 2.57페이지를 처리했으며, NVIDIA L4에서는 일반적인 순차 디코딩보다 속도가 최대 두 배 가까이 높아졌다.3
그러나 도입 여부를 판단할 때는 벤치마크 점수만 비교해서는 부족하다. 다음 항목을 실제 문서로 함께 측정해야 한다.
표, 차트, 수식, 작은 글씨의 구조 보존 정확도
페이지당 시각 토큰 수와 출력 길이
사용하는 GPU에서의 실제 페이지 처리량
FastMTP와 vLLM을 포함한 배포 환경의 호환성
사내 문서 형식에 대한 별도 검증 결과
가중치는 Hugging Face에 공개됐지만 라이선스는 CC BY-NC 4.0이다.1 연구와 비상업적 실험에는 활용할 수 있지만, 상업 서비스에 적용하려면 별도 조건을 확인해야 한다.
요약: jina-ocr-v1의 핵심은 압축된 시각 입력, 선택적 MoE 연산, 검증 가능한 선행 디코딩을 결합해 문서 파싱 비용을 줄이는 데 있다. 저비용 GPU에서 운영하려는 팀이라면 정확도뿐 아니라 자사 문서 기준의 처리량, 배포 호환성, 라이선스를 함께 검토해야 한다.
1jinaai/jina-ocr-v1 · Hugging Face
2jina-ocr-v1: Faster Document Parsing on Low-Budget GPUs
3Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and Dense Verifiable Rewards
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.