Harvey Tenet이 보여주는 법률 AI의 다음 경쟁 기준

법률 AI의 경쟁은 답변을 잘 작성하는 수준에서 복잡한 사건 업무를 끝까지 수행하는 수준으로 옮겨가고 있다. Harvey Tenet은 이러한 변화에 맞춰 공개된 Harvey의 첫 번째 후속 훈련 모델이다. Kimi K3를 기반으로 하며, Fireworks가 후속 훈련에 참여했다. 목표는 여러 단계로 이어지는 장기 수행형 법률 에이전트 작업을 안정적으로 처리하는 것이다.¹

법률 지식이 아니라 업무 전 과정을 훈련한다

Harvey는 최근 6개월간 오픈 웨이트 모델을 활용한 법률 특화 지능과 로펌별 전문 모델 구축 시스템을 연구했다. Harvey Tenet의 후속 훈련 데이터는 합성 데이터, 공개 법률 데이터, 인간 전문가 데이터로 구성됐다.¹

차별점은 실제 법률 업무 환경을 모사한 비동기 강화학습에 있다. 각 훈련 환경은 다음 세 요소로 구성된다.¹

• 파트너의 업무 요청 형식으로 작성된 지시문

• 사건 관련 자료

• 결과물을 판단하기 위한 전문가 평가표

훈련 에이전트는 격리된 작업공간에서 사건 자료를 검색하고 문서를 열람한 뒤 최종 결과물을 작성한다. 단순히 법률 지식을 묻는 문제에 답하는 것이 아니라, 여러 자료를 검토하고 쟁점을 해결해 결과물까지 완성하는 전체 과정을 연습하는 방식이다.¹

따라서 Harvey Tenet을 이해할 때는 개별 답변의 문장력보다 긴 작업에서 필요한 행동 순서를 얼마나 안정적으로 수행하는지에 주목해야 한다.

보상 체계에 품질과 효율성을 함께 반영했다

훈련 보상은 세 가지 요소를 가중 합산해 계산됐다.¹

1. 평가 기준 충족률

2. 해결한 법률 쟁점 수

3. 모든 평가 기준을 통과했을 때의 보너스

Harvey는 평가 품질과 효율성을 고려해 Kimi 2.6을 훈련 평가 모델로 선택했다. 에이전트 정책 최적화에는 그룹 시퀀스 정책 최적화(GSPO)를 적용했다. 비슷한 점수를 받은 롤아웃 그룹은 다시 평가해 강화학습 기울기에 유입되는 잡음을 줄였다.¹

효율성도 보상에 포함됐다. 동일한 성능을 낸 경우에는 더 적은 추론 토큰을 사용한 경로가 더 높은 보상을 받도록 설계했다. 이는 법률 에이전트의 실용성을 판단할 때 결과의 품질뿐 아니라 그 결과를 얻는 데 필요한 계산량도 함께 살펴야 한다는 점을 보여준다.¹

법률 AI를 평가하는 기준이 달라져야 한다

Harvey Tenet은 범용 모델에 법률 데이터를 추가하는 데 그치지 않는다. 실제 업무를 닮은 환경, 전문가 평가표, 자료 탐색과 문서 작성 과정까지 훈련 대상으로 삼았다는 점이 핵심이다.

이 접근을 바탕으로 법률 AI를 평가할 때는 단일 답변의 인상보다 다음 기준을 함께 봐야 한다.

• 여러 단계의 업무를 끝까지 수행하는가

• 관련 법률 쟁점을 빠뜨리지 않는가

• 평가 기준을 일관되게 충족하는가

• 같은 품질을 더 적은 추론 비용으로 달성하는가

• 실제 운영 환경에서도 결과가 재현되는가

로펌별 전문 모델을 구축할 때도 데이터의 양만으로는 충분하지 않다. 어떤 업무 환경에서 훈련할지, 결과를 어떤 기준으로 평가할지, 품질과 효율성 사이의 균형을 어떻게 보상할지가 모델의 실용성을 좌우한다.

요약

Harvey Tenet이 보여주는 핵심은 전문 AI의 경쟁력이 모델 규모에만 달려 있지 않다는 점이다. 장기 수행형 법률 업무를 재현하는 훈련 환경과 전문가 평가 체계, 품질과 효율성을 함께 반영한 보상 설계가 중요하다. 법률 AI 도입을 검토할 때도 답변의 유창함보다 업무 완주 능력과 평가 기준 충족도, 추론 효율성을 중심으로 판단해야 한다.

¹Update on Harvey's Post-Training Effort