CLM-8B: 생성 대신 후보 행동을 평가하는 에이전트 모델
에이전트가 항상 긴 답을 생성해야 하는 것은 아니다. 도구 선택이나 다음 행동 결정처럼 후보가 정해진 작업에서는 새로운 텍스트를 만드는 대신, 주어진 선택지의 적합도를 빠르게 평가하는 편이 효율적이다. Contrastive-LM이 공개한 오픈 System One 모델 CLM-8B는 이 판단 과정에 초점을 맞춘다.
CLM-8B는 어떻게 행동을 선택하는가
CLM-8B는 현재 상태와 후보 행동을 각각 임베딩한 뒤, 두 벡터의 내적으로 적합도 점수를 계산한다. 에이전트는 이 점수를 기준으로 가장 적합한 행동을 선택할 수 있다.
모델은 동결된 Qwen3-8B 인코더와 두 개의 학습 가능한 프로젝션 헤드로 구성된다. 상태와 행동을 처리하는 각 헤드는 약 2천만 개의 매개변수를 갖는다.1
학습에는 양방향 InfoNCE 목표가 사용됐다. 배치 내 상태·행동 쌍의 유사도 행렬을 만든 다음, 올바른 쌍은 가깝게 하고 잘못된 조합은 멀어지게 한다. 이 과정에서 상태→행동과 행동→상태 검색을 함께 최적화한다.1
학습 데이터는 다음과 같이 구성됐다.1
약 6천만 개의 Nemotron 질의응답 쌍
약 3천만 개의 합성 하드 네거티브
약 100만 개의 에이전트 궤적
성능 차이를 만드는 것은 임베딩 재사용이다
CLM-8B의 핵심적인 효율성은 상태와 행동을 별도로 인코딩하는 구조에서 나온다. 자주 사용하는 도구나 명령의 행동 임베딩을 미리 계산해 캐시할 수 있으며, 새로운 상태는 한 번만 임베딩하면 된다. 이후 캐시된 후보들과 내적해 점수를 계산하므로 반복적인 후보 인코딩을 줄일 수 있다.1
이 구조는 후보 수가 많거나 같은 행동 집합을 반복해서 평가할 때 특히 유리하다. 컴퓨터 사용, 게임, 도구 호출을 포함한 제로샷 테스트에서 CLM-8B는 Jev보다 최대 9배 빠르게 실행됐다. 후보가 약 1천 개이고 행동 임베딩을 재사용하는 조건에서는 Jev보다 13배 높은 처리 속도를 기록했다.12
어디에 적용할 수 있는가
CLM-8B는 다음과 같이 후보 집합이 명확한 작업에 적합하다.
여러 도구 중 다음에 호출할 도구 선택
가능한 명령이나 행동의 우선순위 결정
여러 해답 중 가장 적합한 결과 선별
생성 모델이 만든 결과를 평가하는 검증기 구성
미세 조정한 헤드를 검증기로 사용했을 때, 비공개 DeepSWE 과제에서 81.6%, 비공개 Terminal-Bench 2.1 과제에서 87.6%를 기록했다.1 이는 CLM-8B가 행동 선택뿐 아니라 여러 결과를 비교하고 선별하는 용도로도 활용될 수 있음을 보여준다.
다만 이 수치를 제로샷 성능과 혼동해서는 안 된다. 해당 검증 결과는 미세 조정된 헤드에서 나온 것이므로, 실제 도메인에 적용할 때도 별도의 적응이나 검증이 필요할 수 있다.2
생성 모델을 대체하는 것은 아니다
CLM-8B는 주어진 후보를 평가하지만, 후보에 없는 새로운 답이나 행동을 직접 생성하지는 않는다. 점수 역시 현재 후보 집합 안에서의 상대적 적합도를 나타낸다. 또한 프로젝션 헤드는 Qwen3-8B의 임베딩 구조를 기반으로 한다.
따라서 도입 여부는 다음 두 가지 질문으로 판단할 수 있다.
평가할 행동 후보가 사전에 정의되어 있거나 반복적으로 재사용되는가?
새로운 답을 만드는 것보다 많은 후보를 빠르게 비교하는 일이 중요한가?
두 조건에 해당한다면 임베딩 캐시와 내적 기반 점수 계산이 선택 비용을 줄일 수 있다. 반대로 후보 밖의 답을 만들어야 한다면 생성 모델이 여전히 필요하며, CLM-8B는 생성 결과를 평가하거나 라우팅하는 보조 계층으로 활용하는 편이 적절하다.
요약: CLM-8B의 가치는 더 많은 텍스트를 생성하는 데 있지 않다. 상태와 행동을 분리해 임베딩하고 반복되는 후보를 캐시함으로써, 에이전트가 많은 선택지를 더 빠르게 비교하도록 만드는 데 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.