Verifiers v1: 에이전트 RL 환경을 '분리 가능한 부품'으로 바꾸다

에이전트 평가는 더 이상 “프롬프트를 넣고 답을 채점하는 일”에 그치지 않습니다. 코딩 에이전트, 도구 호출, 서브에이전트, 컨텍스트 압축처럼 실행 과정 자체가 복잡해졌기 때문입니다. Prime Intellect의 Verifiers v1은 이 복잡성을 하나의 거대한 환경 코드로 묶는 대신, 역할별 부품으로 나누려는 설계입니다.¹

Verifiers v1이 나누는 세 가지 역할

Verifiers v1의 핵심은 환경을 taskset, harness, runtime으로 분리하는 것입니다.

taskset은 “무엇을 할지”를 정의합니다. 데이터, 도구, 채점 방식이 여기에 포함됩니다.¹ 즉 과제의 목표와 평가 기준을 담는 층입니다.

harness는 그 과제를 “어떻게 풀지”를 담당하는 실행 프로그램입니다. ReAct 루프, Codex 같은 CLI 기반 harness, Terminus 2, 사용자 정의 에이전트가 예로 제시됩니다.¹

runtime은 rollout이 실제로 실행되는 공간입니다. 로컬 subprocess, Docker, Prime Sandboxes 같은 샌드박스 형태로 구성할 수 있습니다.¹

이 분리는 실용적입니다. 호환되는 harness라면 하나의 taskset을 여러 harness에서 실행할 수 있기 때문입니다.¹ 새 에이전트를 평가할 때마다 데이터와 채점 로직을 다시 만들기보다, 같은 과제를 다른 실행 방식에 연결해 비교할 수 있습니다.

선형 대화가 아니라 branching rollout을 다룬다

Verifiers v1이 중요한 또 다른 이유는 rollout을 단순한 선형 대화로 가정하지 않는다는 점입니다. 실제 에이전트 실행은 한 줄로 이어지는 메시지 흐름만으로 설명하기 어렵습니다. 컨텍스트를 압축하거나, 서브에이전트를 호출하거나, 중간 실행 흐름이 갈라질 수 있습니다.

Verifiers v1은 이런 branching을 일급 기능으로 다룹니다.¹ 이는 compaction과 subagent를 네이티브 구조로 처리하기 위한 설계입니다.¹ 장기 작업을 수행하는 에이전트를 평가하거나 학습시키려면, 최종 답뿐 아니라 그 과정에서 어떤 경로가 만들어졌는지도 기록하고 다룰 수 있어야 합니다.

평가 결과를 학습 가능한 trace로 바꾸기

Verifiers v1의 목적은 평가 점수를 내는 데서 끝나지 않습니다. 실행 과정을 학습에 쓸 수 있는 기록으로 남기는 것도 중요합니다.

문서에 따르면 trace는 메시지 그래프, 보상, 지표, 오류 등을 기록하며, prime-rl 학습에 필요한 토큰과 logprob도 담을 수 있습니다.² 또한 Verifiers v1에는 요청을 프록시하고 학습용 trace를 기록하는 interception server가 포함됩니다.¹

즉 Verifiers v1은 “에이전트가 맞혔는가”뿐 아니라 “어떤 실행 과정을 거쳤고, 그 과정이 학습 데이터로 재사용될 수 있는가”에 초점을 둡니다. 에이전트 RL 환경에서 평가와 학습 사이의 거리를 줄이려는 설계로 볼 수 있습니다.

환경 작성자가 집중할 부분

이 구조에서 환경 작성자는 인프라보다 taskset에 더 집중할 수 있습니다. 과제 데이터, 사용 가능한 도구, 채점 방식을 명확히 정의하면, 실행 방식은 harness와 runtime 쪽에서 조합할 수 있습니다.

Runtime 추상화도 단순한 API를 중심으로 정리됩니다. 핵심 사용자 API는 run, read, write이고, 생명주기 API는 start, stop, cleanup입니다.¹ 실행 공간을 로컬 subprocess로 둘지, Docker나 Prime Sandboxes 같은 샌드박스로 둘지는 runtime 계층에서 다룹니다.

Verifiers 0.2.0은 verifiers.v1 네임스페이스 아래 재작성된 v1 코어를 미리 제공하며, 출시 시점에 prime-rl 학습을 지원합니다.¹ 아직 전환기적 성격이 있지만, 방향은 분명합니다. 에이전트 RL 환경은 “하나의 큰 코드”보다 “재조합 가능한 taskset, harness, runtime”에 가까워지고 있습니다.

참고

¹verifiers v1: Decomposing Tasksets and Harnesses for Agentic RL & Evaluations

²Overview - Prime Intellect Docs