LLM 에이전트를 강화학습으로 훈련할 때 병목은 모델 자체에만 있지 않습니다. 실제로는 에이전트를 실행하는 하네스(harness) 가 더 큰 문제가 되기 쉽습니다. 하네스는 코드 실행, 도구 호출, 멀티턴 대화, 평가 로직처럼 에이전트가 문제를 푸는 데 필요한 실행 절차를 묶은 환경입니다.
NVIDIA 연구진이 공개한 Polar는 이 하네스를 RL용 환경으로 다시 만들기보다, 기존 하네스를 거의 그대로 두고 학습 가능한 롤아웃으로 연결하려는 프레임워크입니다. Polar 논문은 2026년 5월 22일 arXiv에 제출됐으며, 17페이지, 그림 6개, 표 2개로 구성됐습니다. 연구 분야 분류도 AI 모델 자체보다는 분산·병렬·클러스터 컴퓨팅(cs.DC)에 놓여 있습니다.1
즉 Polar의 핵심은 “더 나은 보상 함수를 제안했다”가 아니라, 복잡한 에이전트 실행을 토큰 수준 학습 데이터로 안정적으로 바꾸는 시스템 설계에 가깝습니다.
Polar는 무엇을 바꾸나
Polar의 구조는 단순하지만 효과적인 지점을 겨냥합니다. 에이전트 하네스와 추론 서버 사이에 모델 API 프록시를 배치합니다. 하네스는 기존 방식대로 모델을 호출하고, 프록시는 그 경계에서 요청과 응답을 관찰합니다.
이 과정에서 Polar는 토큰 수준 상호작용을 캡처하고, 이를 강화학습에 사용할 수 있는 trajectory로 재구성합니다.1 여기서 중요한 것은 “실제로 생성된 토큰 흐름”과 “학습에 쓰이는 데이터”가 어긋나지 않도록 맞추는 일입니다. RL에서는 어떤 토큰이 어떤 문맥에서 생성됐고, 그 결과가 어떤 보상으로 이어졌는지가 학습 신호의 핵심이기 때문입니다.
기존 하네스를 크게 고치지 않고도 이런 정보를 수집할 수 있다는 점이 Polar의 출발점입니다.
왜 하네스가 문제가 되는가
언어 에이전트용 강화학습은 긴 컨텍스트, 멀티턴 도구 사용, 멀티에이전트 오케스트레이션을 처리하는 커스텀 하네스에 의존하는 경우가 많습니다.1 이런 하네스는 실제 작업을 수행하는 데는 유용하지만, 이를 전통적인 RL 환경 인터페이스로 옮기려면 문제가 생깁니다.
변환 과정에서 중요한 로그, 중간 응답, 토큰 단위 정보, 도구 호출의 맥락이 빠질 수 있습니다.1 그렇게 되면 에이전트가 실제로 어떻게 행동했는지와 트레이너가 학습하는 trajectory 사이에 간극이 생깁니다.
Polar는 이 간극을 줄이기 위해 하네스 내부를 모두 재작성하는 대신, 모델 호출이 오가는 경계를 관찰 지점으로 삼습니다. 그래서 논문에서도 Polar를 “임의의 에이전트 하네스 위에서 확장 가능한 비동기 RL을 수행하기 위한 롤아웃 프레임워크”로 설명합니다.1
적용할 때 봐야 할 기준
Polar를 평가할 때 모델 성능 수치만 보는 것은 충분하지 않습니다. 이 프레임워크의 실용성은 다음 질문에 더 가깝습니다.
첫째, 기존 하네스를 얼마나 적게 수정해도 되는가.
둘째, 토큰, 응답, 로그확률 같은 학습 신호를 얼마나 정확히 재구성하는가.
셋째, 긴 실행 시간이 필요한 에이전트 작업에서 롤아웃과 학습을 얼마나 효율적으로 분리하고 확장하는가.
Polar는 Qwen3.5-4B 기반 모델에 GRPO를 사용한 사례를 제시하며, NeMo Gym 환경으로도 등록됐습니다. 구현은 ProRL Agent Server 저장소를 통해 공개됐습니다.2 이 점은 Polar가 단순한 논문 아이디어가 아니라, 에이전트 RL 인프라 구성 요소로 사용될 수 있음을 보여줍니다.
핵심은 “하네스를 다시 만들지 않는 것”
Polar가 제안하는 방향은 명확합니다. 에이전트 RL을 위해 매번 새로운 환경을 다시 만들기보다, 이미 존재하는 하네스를 학습 가능한 데이터원으로 바꾸자는 것입니다.
코딩 에이전트나 도구 사용 에이전트를 운영한다면, 앞으로의 RL 인프라는 하네스 내부를 전면 개조하는 방식보다 모델 API 경계에서 실행을 기록하고 trajectory로 재구성하는 방식으로 발전할 가능성이 큽니다. Polar의 가치는 바로 그 전환점을 구체적인 시스템 구조로 제시했다는 데 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.