149M 법률 조항 추출 모델이 던지는 질문

계약서 AI의 가치는 모델 크기만으로 결정되지 않습니다. 실제 업무에서 중요한 것은 필요한 조항을 정확히 찾고, 추출값의 근거를 확인할 수 있으며, 반복 사용 가능한 비용 구조를 갖추는 것입니다.

최근 한 연구자가 PrimeIntellect를 사용해 학습한 149M 규모의 legal contract clause extraction 모델이 주목받는 이유도 여기에 있습니다. 이 모델은 GTE-ModernColBERT-v1을 기반으로 PyLate를 사용한 late interaction 모델이며, 법률 계약서의 조항 추출에 초점을 맞췄습니다. MLEB 벤치마크에서는 오픈소스 모델 17개 중 3위를 기록했습니다.

이 사례가 던지는 질문은 단순히 “작은 모델도 성능이 좋은가”가 아닙니다. 더 중요한 질문은 “계약서처럼 정밀한 문서 업무에서 어떤 모델 구조와 운영 방식이 실용적인가”입니다.

계약서 추출은 단순 검색보다 복잡하다

계약서의 핵심 정보는 한곳에 정리되어 있지 않습니다. 조항, 일정표, 부속문서, 정의 조항 등 여러 위치에 흩어져 있습니다.¹ 따라서 “해지일을 찾아줘” 같은 요청도 실제로는 문서 구조, 정의된 용어, 예외 조건, 관련 조항을 함께 확인해야 하는 작업입니다.

추출 대상도 다양합니다. 조항 원문뿐 아니라 기간, 날짜, 통화 금액, 불리언 값, 범주형 선택지, 짧은 텍스트 필드가 포함될 수 있습니다.¹ 즉 계약서 추출은 검색, 분류, 정규화, 근거 확인이 결합된 문제입니다.

이 때문에 범용 챗봇처럼 답변을 생성하는 방식만으로는 부족합니다. 법률 워크플로에서는 환각 출력이 검토 부담을 늘리고, 운영 리스크를 키우며, 자동화 시스템에 대한 신뢰를 낮출 수 있습니다.¹ 계약서 AI는 “그럴듯한 답”보다 “검증 가능한 추출”에 가까워야 합니다.

late interaction이 법률 문서에 맞는 이유

late interaction 모델은 질의와 문서를 각각 하나의 벡터로만 압축하지 않고, 토큰 단위 표현을 남겨 비교합니다. 세부 표현이 중요한 검색에서 의미 손실을 줄일 수 있는 방식입니다.²

계약서에서는 작은 표현 차이가 결과를 바꿉니다. 예를 들어 날짜, 금액, 예외 조건, 조항명, 정의된 용어는 문맥 안에서 정확히 매칭되어야 합니다. 단일 벡터 검색은 문서 전체의 의미를 빠르게 비교하는 데 강점이 있지만, 세밀한 조항 단위 매칭에서는 정보가 압축되며 일부 뉘앙스가 사라질 수 있습니다.

late interaction은 저장 비용이나 계산 비용 측면에서 더 부담이 있을 수 있습니다. 하지만 계약서 조항 추출처럼 정밀한 근거 매칭이 중요한 작업에서는 그 비용을 감수할 만한 이유가 생깁니다.

149M이라는 크기가 중요한 이유

149M 모델의 의미는 “작아서 놀랍다”가 아니라 “작아도 특정 업무에 맞게 설계하면 실용적인 선택지가 될 수 있다”는 데 있습니다.

법무팀이나 기업 내부 워크플로에서는 성능만큼 운영 조건이 중요합니다. 상용 API 기반 대형 모델은 데이터 통제, 보안 검토, 비용 예측, 모델 버전 관리, 장기 가용성에서 제약을 만들 수 있습니다.¹ 반면 도메인 데이터로 파인튜닝한 소형 언어 모델은 조직 내부 인프라에 배포할 수 있습니다.¹

계약서 추출은 대규모 일반 지식보다 반복 가능한 문서 패턴과 명확한 필드 정의가 중요한 경우가 많습니다. 이런 환경에서는 더 큰 모델을 호출하는 것보다, 특정 계약서 업무에 맞춘 작은 모델을 안정적으로 운영하는 편이 실용적일 수 있습니다.

성능 평가는 “정답률”만 보면 부족하다

관련 연구인 Olava Extract 평가는 이 관점을 잘 보여줍니다. 해당 평가는 24개 공개 계약서와 26개 추출 대상 필드로 구성됐고, 법률 전문가가 라벨링한 508개 필드 인스턴스를 포함했습니다.¹ 평가 결과는 macro F1 0.812, micro F1 0.842였습니다.¹

여기서 눈여겨볼 점은 비용입니다. Olava Extract는 배치 추론 기준으로 비교된 프런티어 모델보다 추출 비용이 78~97% 낮았습니다.¹ 법률 업무에서는 문서 수가 늘어날수록 추론 비용과 검토 비용이 함께 커지기 때문에, 낮은 비용은 단순한 부가 장점이 아니라 도입 가능성을 좌우하는 조건입니다.

따라서 계약서 추출 모델을 평가할 때는 다음 기준을 함께 봐야 합니다.

• 추출할 필드가 명확한 스키마로 정의되어 있는가

• 추출값이 원문 어느 위치에서 나왔는지 확인할 수 있는가

• 날짜, 금액, 기간, 불리언 등 필드 타입별 정규화가 가능한가

• 낮은 신뢰도 결과를 사람 검토로 넘기는 절차가 있는가

• 내부 배포, 비용 예측, 모델 버전 관리가 가능한가

계약서 AI의 방향: 더 큰 모델보다 더 검증 가능한 모델

149M legal contract clause extraction 모델은 계약서 AI의 방향을 잘 보여주는 사례입니다. 핵심은 범용 대형 모델을 무조건 대체하는 것이 아닙니다. 좁고 중요한 업무에서는 작은 도메인 특화 모델이 더 예측 가능하고, 더 저렴하며, 더 쉽게 통제될 수 있다는 점입니다.

계약서 조항 추출에서 필요한 것은 화려한 생성 능력이 아니라 정확한 검색, 안정적인 추출, 근거 기반 검토입니다. 모델을 도입하려는 팀이라면 먼저 “어떤 필드를 어떤 기준으로 추출할 것인가”를 정의하고, 그다음 모델 크기와 구조를 선택해야 합니다.

결론은 분명합니다. 계약서 AI의 경쟁력은 단순히 더 큰 모델에서 나오지 않을 수 있습니다. 특정 업무에 맞춰 학습되고, 내부에서 운영 가능하며, 결과를 검증할 수 있는 작은 모델이 더 현실적인 해답이 될 수 있습니다.

¹A Few Good Clauses: Comparing LLMs vs Domain-Trained Small Language Models on Structured Contract Extraction

²An Overview of Late Interaction Retrieval Models: ColBERT, ColPali, and ColQwen