OCR 모델은 출시일이나 종합 벤치마크 점수만으로 평가하기 어렵다. 실제 성능은 처리할 언어와 문서 유형, 필요한 출력 형식에 얼마나 잘 맞는지에 따라 달라진다.
DharmaOCR는 브라질 포르투갈어 문서 인식을 목표로 개발된 OCR 모델이다. 폭넓은 언어 지원보다 특정 언어에서의 정확도와 안정적인 출력에 집중한 사례다.
정확도와 출력 안정성을 함께 학습하다
DharmaOCR의 학습 파이프라인은 두 단계로 구성된다. 먼저 지도 미세조정을 통해 포르투갈어 표현과 문서 구조를 학습하고, 머리글·여백·바닥글·본문을 구분하는 JSON 출력 형식을 익힌다.
이어 Direct Preference Optimization(DPO)을 적용한다. DPO는 여러 결과 가운데 더 나은 출력을 선호하도록 모델을 학습하는 방법이다. DharmaOCR는 같은 문장을 계속 반복하는 ‘텍스트 퇴화’ 결과를 거부 사례로 활용했다.1
텍스트 퇴화는 단순한 오탈자보다 운영상 위험이 크다. 출력이 불필요하게 길어져 처리 시간과 비용이 증가하고, 후속 자동화 파이프라인에도 장애를 일으킬 수 있기 때문이다. 보고된 퇴화율은 DharmaOCR Full이 0.40%, Lite가 0.20%였다.2
벤치마크 결과는 목표 범위와 함께 봐야 한다
496개의 브라질 포르투갈어 문서로 구성된 전용 벤치마크에서 DharmaOCR Full은 0.925, Lite는 0.911을 기록했다.2 같은 벤치마크에서 Mistral OCR 4는 0.798, Unlimited-OCR는 0.7587을 기록했다.3
이 결과는 브라질 포르투갈어라는 제한된 조건에서 특화 전략이 효과적이었음을 보여준다. 다만 DharmaOCR가 모든 OCR 업무에서 범용 모델보다 우수하다는 의미는 아니다.
Mistral OCR 4는 10개 언어군에 걸쳐 170개 언어를 지원한다. 추출 텍스트와 바운딩 박스를 함께 반환하고, 제목·표·수식·서명 등 문서 블록의 유형을 분류하며, 페이지별·단어별 신뢰도 점수도 제공한다. 입력 형식도 PDF, DOC, PPT, OpenDocument로 폭넓고, 단일 컨테이너에서 자체 호스팅할 수 있다.4
결국 두 모델은 최적화한 문제가 다르다. 브라질 포르투갈어 문서의 인식 정확도와 출력 안정성이 우선이라면 DharmaOCR가 유력한 선택지가 될 수 있다. 반대로 다국어 지원, 다양한 파일 형식, 위치 정보와 신뢰도 점수가 필요하다면 범용 모델이 더 적합할 수 있다.
모델 선택은 실제 문서로 검증해야 한다
OCR 도입 전에는 공개 점수만 비교하지 말고 자사 문서로 별도 평가해야 한다. 다음 항목을 함께 확인하는 것이 실용적이다.
대상 언어와 문서 유형에서의 문자 인식 정확도
표, 머리글, 바닥글 등 문서 구조의 보존 여부
반복 출력과 같은 실패 패턴의 발생률
필요한 파일 형식과 출력 메타데이터 지원 여부
처리 속도와 페이지당 비용
자체 호스팅 등 배포 방식의 적합성
DharmaOCR 모델 중 하나는 논문 발표와 함께 오픈소스로 공개돼 직접 검증할 수 있다.1 이 사례가 주는 핵심 교훈은 명확하다. 더 최신이거나 더 범용적인 모델보다, 실제 업무의 언어·문서·출력 요구에 맞춰 학습된 모델이 더 나은 선택일 수 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.