BAGEN: LLM 에이전트는 남은 비용을 알고 있을까

LLM 에이전트는 검색하고, 코드를 수정하고, 도구를 호출하며 복잡한 작업을 수행합니다. 하지만 실제 운영에서 중요한 질문은 성능만이 아닙니다. 실행 도중 토큰, 시간, 비용을 얼마나 더 쓸지 모른다면 자동화의 이점은 곧 통제 리스크가 됩니다.

BAGEN은 이 문제를 다룹니다. 여기서 예산 인식이란 에이전트가 작업 중 남은 자원 필요량을 추정할 수 있는 능력입니다.¹ 다시 말해 “이 작업을 풀 수 있는가?”를 넘어 “남은 예산 안에서 끝낼 수 있는가?”를 묻는 평가 관점입니다.

예산 인식은 왜 필요한가

에이전트 운영에서는 중간 판단이 중요합니다. 계속 실행할지, 중단할지, 더 저렴한 모델로 넘길지, 사람에게 넘길지를 결정해야 하기 때문입니다. 이때 필요한 것은 단순한 성공 가능성만이 아니라 남은 비용에 대한 추정입니다.

BAGEN은 이 추정을 실행 중간의 점진적 구간 추정 문제로 공식화합니다.¹ 에이전트가 남은 비용을 하나의 숫자로 단정하는 대신 [lo, hi] 형태의 구간으로 제시하게 하는 방식입니다.

예를 들어 “앞으로 1,000토큰이 필요합니다”보다 “800~1,500토큰이 필요할 수 있습니다”가 운영 판단에는 더 유용합니다. 후자는 불확실성을 드러내기 때문입니다. 예산 상한이 1,000토큰이라면 계속 진행할지 재검토할 수 있고, 2,000토큰이라면 실행을 유지할 근거가 생깁니다.

BAGEN은 무엇을 평가하나

BAGEN의 평가는 rollout-replay 방식으로 이뤄집니다. 먼저 제약 없이 에이전트를 실행해 전체 실행 궤적을 만들고, 그 궤적의 각 prefix에서 같은 에이전트에게 다시 질의합니다.¹ 즉 “지금까지 이만큼 진행한 상태라면, 남은 예산으로 완료할 수 있는가?”와 “완료하려면 얼마나 더 필요한가?”를 묻는 구조입니다.

논문은 예산 추정 능력을 세 가지 하위 능력으로 나눕니다.¹

• 실행 가능성 예측: 현재 상태에서 남은 예산으로 작업을 끝낼 수 있는지 판단하는 능력

• 조기 실패 감지: 예산 부족이나 실패 가능성을 늦기 전에 알아차리는 능력

• 구간 보정: 남은 비용의 불확실성을 지나치게 좁거나 넓지 않은 구간으로 표현하는 능력

이 구분이 중요한 이유는 문제 해결 능력과 예산 인식 능력이 다를 수 있기 때문입니다. 어떤 모델은 정답을 잘 찾지만, 그 과정에서 얼마나 더 쓸지 제대로 예측하지 못할 수 있습니다. BAGEN은 에이전트 평가에 정답률뿐 아니라 운영 가능성을 포함해야 한다는 점을 보여줍니다.

실무에서는 어떻게 볼 것인가

BAGEN은 토큰, 시간, 비용, 저장 공간 같은 자원 비용을 작업 중간에 추정하는 연구 인프라로 공개되어 있습니다.² 논문 평가는 5개 frontier 모델을 대상으로 수행됐으며, 예산 인식을 별도의 능력으로 분석합니다.¹

제품 관점에서 BAGEN의 의미는 “더 똑똑한 에이전트”보다 “더 통제 가능한 에이전트”에 가깝습니다. 실무적으로는 다음과 같은 정책을 설계할 수 있습니다.

• 남은 비용 상한이 커지면 자동 중단

• 완료 가능성이 낮으면 사람에게 이관

• 예산이 부족하면 더 저렴한 모델이나 축소된 전략으로 전환

• 추정 구간이 너무 넓으면 추가 실행 전에 확인 절차 삽입

LLM 에이전트를 실제 서비스에 넣는다면 이제 질문은 하나 더 늘어납니다. “이 에이전트가 일을 끝낼 수 있는가?”뿐 아니라 “끝내기 전에 얼마나 쓸지 스스로 알고 있는가?”입니다.

BAGEN은 바로 그 질문을 평가 가능한 형태로 만든 시도입니다.

¹Towards Budget-Aware Agents: Do LLM Agents Know What They Will Spend? | OpenReview

²GitHub - mll-lab-nu/BAGEN