문서 AI에서 어려운 일은 단순히 글자를 읽는 것이 아닙니다. 송장 번호, 합계, 품목, 계약 조건처럼 필요한 값을 찾아 일관된 구조로 꺼내는 것이 더 큰 문제입니다.
Datalab의 lift는 이 문제를 겨냥한 9B 오픈 웨이트 비전 모델입니다. PDF뿐 아니라 이미지에서도 데이터를 추출하고, 사용자가 전달한 JSON Schema에 맞춰 JSON 객체를 반환합니다.1
lift가 바꾸는 중심: 프롬프트보다 스키마
기존 LLM 기반 추출에서는 “JSON으로 답해줘”라고 지시해도 결과가 흔들릴 수 있습니다. 필드가 빠지거나, 숫자가 문자열로 나오거나, JSON 형식 자체가 깨지는 일이 생깁니다.
lift는 이를 줄이기 위해 스키마 제약 디코딩을 사용합니다. 생성 과정에서 출력이 유효한 JSON이고, 각 필드의 타입도 스키마에 맞도록 제한하는 방식입니다.1
이 접근의 실용적 가치는 분명합니다. 후처리와 검증 코드가 줄어들고, 추출 결과를 바로 데이터 파이프라인에 연결하기 쉬워집니다. 문서마다 “무엇을 뽑을지”를 프롬프트로 길게 설명하기보다, 스키마로 명확히 정의하는 방식에 가깝습니다.
긴 문서와 흩어진 정보에 대응한다
실제 업무 문서는 한 페이지로 끝나지 않는 경우가 많습니다. 계약서, 보험 서류, 긴 인보이스처럼 여러 페이지에 정보가 흩어져 있고, 필요한 값이 페이지를跨어 나타나기도 합니다.
lift는 여러 페이지 문서를 한 번에 처리할 수 있으며, 페이지를跨는 값도 추출할 수 있습니다.1 따라서 단일 이미지 OCR보다, 구조화된 문서 추출 파이프라인에 더 가까운 도구로 이해하는 편이 적절합니다.
개발자가 적용하기 쉬운 형태
lift는 두 가지 추론 방식을 지원합니다. 로컬 Hugging Face 방식으로 직접 실행할 수 있고, 원격 vLLM 서버 방식으로도 사용할 수 있습니다.1 기본 설치 명령은 다음과 같습니다.2
pip install lift-pdfCLI도 실무 흐름을 고려합니다. 단일 파일 처리, 인라인 스키마 전달, 전체 디렉터리 처리를 지원합니다.1 여러 문서 유형을 반복적으로 처리해야 하는 팀이라면, 스키마를 정해두고 배치 처리하는 방식으로 연결할 수 있습니다.
스키마 작성은 별도의 부담이 될 수 있는데, lift는 이를 보완하기 위해 Schema Studio도 제공합니다. Schema Studio는 문서에 맞는 스키마를 만들고, 저장하고, 테스트할 수 있는 Streamlit 앱입니다.1
성능 수치는 어떻게 해석해야 할까
Datalab은 225개 문서, 약 1만1000개 필드를 포함한 벤치마크에서 lift가 90.2% 필드 정확도를 기록했다고 공개했습니다.1 다만 전체 문서의 모든 필드가 맞는 비율은 20.9%입니다.1
이 수치는 lift를 “완전 자동화 도구”로 보기보다, 스키마 기반 문서 추출을 표준화하는 강한 출발점으로 보는 것이 현실적임을 보여줍니다. 필드 단위 정확도는 높지만, 실제 운영에서는 검증, 예외 처리, 사람의 확인 절차가 여전히 중요합니다.
핵심은 모델보다 인터페이스다
lift의 의미는 단순히 9B 비전 모델이 하나 더 나왔다는 데 있지 않습니다. 더 중요한 점은 문서 AI의 중심을 “잘 쓴 프롬프트”에서 “잘 설계한 스키마”로 옮긴다는 것입니다.
문서에서 무엇을 뽑을지 스키마로 정의하고, 모델은 그 구조에 맞춰 값을 채웁니다. PDF와 이미지에서 구조화된 JSON을 안정적으로 얻고 싶은 팀이라면, lift는 오픈 웨이트 기반 문서 추출 파이프라인을 검토할 만한 선택지입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.