LLM 에이전트가 일을 잘하는 것과, 일을 끝내기까지 얼마를 더 쓸지 아는 것은 다른 문제입니다. 실제 서비스에서는 토큰, 시간, 비용, 저장공간이 모두 제한된 자원입니다. 따라서 에이전트를 운영하려면 “정답을 찾는가”뿐 아니라 “남은 예산 안에서 끝낼 수 있는가”도 함께 봐야 합니다.
BAGEN이 묻는 질문: 에이전트는 남은 예산을 아는가
BAGEN은 Budget-Aware Agents의 약자입니다. 에이전트가 작업을 수행하는 중간에 토큰, 시간, 비용, 저장공간 같은 자원 사용량을 추정할 수 있는지 평가하고 이해하기 위한 연구 인프라입니다.1
여기서 예산 인식은 단순한 비용 기록이 아닙니다. BAGEN은 긴 지평선의 에이전트 롤아웃에서, 현재 상태를 기준으로 다음 두 가지를 추정하는 능력에 초점을 둡니다.
남은 자원으로 작업을 완료할 수 있는가
가능하다면 얼마나 더 많은 예산이 필요한가
즉, BAGEN이 보려는 것은 “성공할 것 같은가”가 아니라 “성공하기 위해 남은 자원이 충분한가”입니다. 이 차이는 실무에서 중요합니다. 같은 정답률을 가진 에이전트라도, 하나는 비용을 예측하며 안정적으로 운영될 수 있고 다른 하나는 언제 멈춰야 할지 알기 어려울 수 있습니다.
네 가지 환경이 보여주는 예산의 형태
BAGEN 공개 코드는 Sokoban, Search-R1, SWE-bench 스타일 코딩, Warehouse 설정을 포함합니다.1 네 환경은 에이전트가 마주치는 예산 문제가 하나의 형태로만 존재하지 않는다는 점을 보여줍니다.
Sokoban: 인터랙티브 퍼즐 롤아웃에서 토큰 예산을 추정합니다.
Search-R1: 검색 에이전트 궤적에서 토큰 예산을 추정합니다.
SWE-bench 스타일 코딩: 코딩 에이전트 로그를 바탕으로 토큰 예산을 추정합니다.
Warehouse: 시간, 저장공간 점유, 누적 비용을 포함한 다중 자원 예산을 추정합니다.
앞의 세 환경은 주로 토큰 예산에 초점을 맞추지만, Warehouse는 더 복합적인 운영 자원을 다룹니다. 이는 실제 에이전트 서비스에서 예산이 단순히 “토큰을 얼마나 썼는가”로 끝나지 않는다는 점을 잘 보여줍니다. 실행 시간이 길어질 수도 있고, 저장공간을 점유할 수도 있으며, 누적 비용이 운영 한계에 가까워질 수도 있습니다.
강한 모델이 곧 좋은 예산 추정자는 아니다
BAGEN 연구에서 특히 중요한 지점은 작업 성능과 예산 인식이 분리될 수 있다는 점입니다. OpenReview 초록은 예산 인식이 작업 성능과 별개로 움직일 수 있으며, 구조적인 실패 양상이 있고, 제어 신호로 학습 가능하다고 설명합니다.2
프로젝트 페이지의 결과도 같은 방향을 가리킵니다. 예산 추정 품질과 작업 성공률의 상관은 약한 편이었고, 모델들은 대체로 남은 예산을 과소평가했습니다. 20개 모델-작업 조합 중 17개에서 남은 예산을 낮게 보는 경향이 보고됐습니다.3
이는 “가장 성능 좋은 모델을 쓰면 비용 문제도 자연스럽게 해결된다”는 가정이 위험하다는 뜻입니다. 에이전트가 답을 잘 찾아도, 그 과정에서 얼마나 더 많은 자원을 쓸지 모른다면 운영자는 중단, 전환, 승인 같은 결정을 늦게 내릴 수밖에 없습니다.
실무에서의 가치: 조기 중단과 에스컬레이션
BAGEN의 실용성은 예산 인식을 운영 정책으로 바꿀 수 있다는 데 있습니다. 예를 들어 에이전트가 “남은 예산으로는 완료가 어렵다”고 판단하면 다음과 같은 선택이 가능해집니다.
실행을 조기에 중단한다
더 저렴한 모델이나 다른 전략으로 전환한다
사람에게 이관한다
추가 예산 승인을 요청한다
프로젝트 페이지는 단순 조기 중단 정책만으로도 실패한 실행에서 낭비 토큰을 28~64% 줄였고, 성공 손실은 1.6~4.2% 수준이었다고 보고합니다.3 완벽한 예산 추정기가 아니더라도, 비용 제어를 위한 위험 신호로는 충분히 쓸 수 있다는 의미입니다.
다만 한계도 분명합니다. SFT는 실행 가능성 판단을 크게 개선했지만, 남은 예산 범위를 정확히 맞히는 능력은 제한적이었습니다.3 따라서 현재 시점에서 현실적인 활용법은 예산 추정을 “완전 자동 판단”으로 믿는 것이 아니라, 중단·전환·이관을 검토하게 만드는 보조 신호로 사용하는 것입니다.
에이전트 평가는 정답률만으로 부족하다
BAGEN이 던지는 질문은 단순하지만 중요합니다.
에이전트는 일을 끝낼 수 있는가? 그리고 끝내기 전에 얼마나 쓸지 알고 있는가?
앞으로 에이전트 평가에는 정답률이나 작업 성공률뿐 아니라 예산 감각도 포함돼야 합니다. 실제 운영 환경에서는 성능이 높은 에이전트보다, 성능과 비용을 함께 예측할 수 있는 에이전트가 더 안정적인 선택이 될 수 있습니다.
2Towards Budget-Aware Agents: Do LLM Agents Know What They Will Spend?
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.