HarnessDev가 묻는 것: LLMs는 자신의 실행 시스템을 만들 수 있는가
요약: HarnessDev는 LLMs의 답변이 아니라, 작업을 수행하도록 구축한 실행 가능한 하네스를 평가한다. 실험 결과 LLMs는 일부 영역에서 인간 제작 하네스에 근접했지만, 개선 효과를 새로운 과제와 다른 실행 모델로 일반화하는 능력은 아직 불안정했다.
모델 성능을 좌우하는 에이전트 하네스
에이전트 하네스는 모델 외부에서 실행 루프, 도구 사용, 컨텍스트 관리, 실패 복구, 결과 검증을 담당하는 인프라다. 어떤 모델을 사용하느냐뿐 아니라 모델을 어떤 시스템 안에서 실행하느냐도 실제 작업 성능을 좌우한다.
예를 들어 동일한 GPT-5 가중치도 Terminal-Bench 2.1에서 Terminus 2를 사용하면 성공률이 35.2%였지만, Codex CLI에서는 49.6%를 기록했다.1 모델의 가중치만으로 에이전트 성능을 설명하거나 비교하기 어려운 이유다.
HarnessDev는 답이 아닌 시스템을 평가한다
ByteDance Seed, SUTD, Georgia Tech, M-A-P, TokenWave.AI가 공개한 HarnessDev는 모델이 생성한 최종 답변 대신 모델이 구축한 실행 가능한 하네스를 평가한다.
평가는 두 단계로 구성된다.
Creation: 약하지만 실행 가능한 시드와 소수의 개발 사례를 바탕으로 완전한 하네스를 구축한다.
Evolution: 자체 제작한 하네스를 유지하면서 실행 피드백을 토대로 반복 수정한다.1
완성된 하네스는 개발 과정에 공개되지 않은 보류 과제에서 검증된다. 실제 작업 성공률과 함께 작업 해결에 사용한 실행 모델의 토큰 수도 측정한다.1 따라서 더 많은 비용을 투입해 개발 사례의 점수만 높이는 것이 아니라, 새로운 과제에서도 효율적으로 성능을 유지하는지가 중요하다.
영역에 따라 성과와 난도가 달랐다
6개 LLMs는 5개 벤치마크의 2,207개 과제에서 하네스를 구축했다. 자체 제작한 하네스는 글쓰기와 머신러닝 실험에서 인간 제작 참조 하네스와 같은 수준의 성능을 보였다.1
그러나 모든 영역에서 같은 성과가 나온 것은 아니다. 검색·리서치 하네스는 장시간 정보 탐색이 필요해 인간 제작 시스템과의 격차가 가장 컸다. 코딩 하네스 역시 여러 차례의 저장소 조사, 편집, 검증을 일관되게 조율해야 한다는 어려움이 있었다.1 이는 하네스 구축 능력이 단순한 도구 호출보다 장기 실행과 상태 관리가 필요한 작업에서 더 엄격하게 시험된다는 뜻이다.
핵심 과제는 개선이 아니라 일반화다
HarnessDev가 드러낸 가장 중요한 한계는 특정 개발 사례에서 얻은 개선이 새로운 과제에서도 유지되는가에 있다. 64개 하네스 변경 가운데 별도 평가 과제에서도 같은 방향의 성능 변화를 보인 것은 34개뿐이었다.2 개발 점수의 상승이 곧 안정적인 시스템 개선을 의미하지는 않는다.
고정된 하네스의 효과도 이를 실행하는 모델에 크게 의존했다.1 한 모델에서 유효했던 변경이 다른 모델에서도 같은 결과를 낸다고 가정하기 어려운 만큼, 하네스 개선의 모델 간 이전성은 제한적이다.
실무에서 하네스를 평가할 때는 다음을 함께 확인해야 한다.
공개되지 않은 보류 과제에서도 성공률이 유지되는가
성능 향상에 필요한 실행 모델 토큰 비용은 합리적인가
일부 과제의 개선이 다른 과제의 회귀를 유발하지 않는가
실행 모델을 바꿔도 개선 효과가 재현되는가
HarnessDev의 결론은 균형 잡혀 있다. LLMs는 자신의 하네스를 구축하고 발전시키는 데 활용될 수 있다. 다만 개발 사례에서 확인한 개선을 곧바로 범용적인 시스템 자산으로 간주해서는 안 된다. 실제 배포 전에는 보류 과제, 비용, 회귀, 실행 모델별 재현성을 기준으로 별도 검증해야 한다.
1HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.