오픈 모델을 고를 때 코딩 벤치마크 점수만 보면 부족합니다. 에이전트는 답을 생성하는 모델이 아니라, 도구를 호출하고, 코드를 실행하고, 실패를 해석하고, 다시 시도해 작업을 끝내는 시스템이기 때문입니다.
그래서 필요한 것이 에이전틱 벤치마킹(agentic benchmarking)입니다. 핵심은 모델이 문제를 “아는지”보다, 실제 작업 흐름 안에서 얼마나 안정적으로 “수행하는지”를 보는 데 있습니다.
벤치마크는 실행 환경으로 이동하고 있다
RAMP는 장기 실행 소프트웨어 엔지니어링 에이전트를 평가하기 위한 런타임 평가 인프라입니다.1 이 연구는 정적이고 고립된 단기 벤치마크만으로는 실제 프로덕션 워크플로의 동적 복잡성을 포착하기 어렵다고 지적합니다.1
실제 에이전트 작업은 한 번의 응답으로 끝나지 않습니다. 긴 실행 체인, 도구 상호작용, 의존성 관리, 반복 피드백 루프가 이어집니다.1 중간 단계에서 실패가 발생하면 원인을 찾고 복구해야 하며, 앞선 선택이 뒤 단계의 성공률에 영향을 줍니다.
RAMP가 컴파일러 구축처럼 직렬 의존성과 복잡한 툴체인 상호작용이 있는 워크로드를 사용하는 이유도 여기에 있습니다.1 이런 환경에서는 초반 단계에서 잘 작동하던 모델도 후반으로 갈수록 흔들릴 수 있습니다. 실제로 RAMP 평가에서는 직렬 워크플로의 작업 완료율이 초기 단계 100%에서 최종 단계 20%로 낮아졌습니다.1
즉 에이전트의 성능은 짧은 문제 풀이보다 긴 작업에서 더 잘 드러납니다.
점수보다 실행 흔적이 중요하다
Hugging Face의 사례는 오픈 모델을 에이전트로 평가할 때 무엇을 봐야 하는지 잘 보여줍니다. 이 벤치마크는 transformers를 사례로 사용하고, bare, clone, skill 세 가지 티어에서 실행됩니다.2 각 실행은 Hugging Face Job으로 수행되며, 결과와 트레이스는 Hugging Face Bucket에 저장됩니다.2
여기서 중요한 것은 단순한 성공 여부가 아닙니다. 하네스는 match %, 중앙값 시간, 토큰 수, 오류 실행 비율, marker adoption을 측정합니다.2
이 지표들은 운영 관점에서 직접적인 의미가 있습니다.
match %: 작업 결과가 기대한 상태에 얼마나 가까운가
중앙값 시간: 같은 작업을 얼마나 빠르게 끝내는가
토큰 수: 비용과 지연을 얼마나 만들었는가
오류 실행 비율: 실행 중 얼마나 자주 깨지는가
marker adoption: 평가 환경이 요구하는 신호나 규칙을 얼마나 잘 따르는가
같은 성공이라도 5분 만에 끝낸 모델과 40분 동안 많은 토큰을 쓰고 겨우 끝낸 모델은 운영 가치가 다릅니다. 실패율이 낮아 보여도 특정 도구 호출이나 복구 단계에서 반복적으로 막힌다면 실제 제품에서는 위험합니다.
RAMP 역시 결과 품질과 처리 효율을 함께 평가하는 다차원 지표를 포함합니다.1 에이전트 평가는 “맞혔는가”에서 끝나지 않고, “어떤 경로로, 얼마나 안정적으로, 어느 비용으로 끝냈는가”까지 봐야 합니다.
공개 리더보드는 출발점일 뿐이다
공개 벤치마크는 모델을 걸러내는 데 유용합니다. 하지만 에이전트를 실제로 도입하려면 결국 내 도구 위에서 다시 재야 합니다.
AgencyBench는 평균 90회 도구 호출, 100만 토큰, 수 시간 실행이 필요한 실제형 작업을 다룹니다.3 이 평가에서 폐쇄형 모델은 48.4%, 오픈소스 모델은 32.1%의 성능을 보였습니다.3 다만 더 중요한 점은 실행 프레임워크와 자기수정 능력에 따라 성능이 크게 달라진다는 것입니다.3
이는 오픈 모델 평가에도 그대로 적용됩니다. 모델 자체의 능력만 보는 것이 아니라, 모델이 놓이는 실행 환경까지 함께 봐야 합니다. 같은 모델이라도 저장소 구조, CLI, 테스트 명령, 권한, 의존성, 배포 규칙에 따라 전혀 다른 결과를 낼 수 있습니다.
따라서 오픈 모델을 에이전트로 평가할 때는 다음처럼 접근하는 것이 practical합니다.
작업 난이도를 나눈다
bare, clone, skill처럼 기본 환경, 복제 환경, 사전 스킬 제공 환경을 분리합니다.성공률만 보지 않는다
시간, 토큰 수, 오류 비율, 재시도 횟수, 복구 과정을 함께 기록합니다.실행 트레이스를 남긴다
실패 원인이 모델 추론인지, 도구 사용인지, 환경 설정인지 구분할 수 있어야 합니다.내 워크플로로 검증한다
공개 점수가 아니라 내 저장소, 내 도구, 내 운영 규칙에서 반복 측정해야 합니다.
좋은 에이전트는 한 번에 정답을 맞히는 모델이 아닙니다. 내 도구 안에서 실패를 관찰하고, 수정하고, 끝까지 작업을 밀고 가는 모델입니다. 오픈 모델을 고를 때도 이제는 점수표보다 실행 흔적을 봐야 합니다.
1Benchmarks are Not Enough: RAMP for Runtime Assessing of Agentic Models in Production Systems
2Is it agentic enough? Benchmarking open models on your own tooling
3AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.