AI 에이전트의 어려움은 단순히 “틀렸다”가 아닙니다. 더 큰 문제는 왜 틀렸는지 추적하기 어렵다는 데 있습니다.
에이전트 실행은 수백 단계로 길어질 수 있고, 각 단계는 이전 도구 호출과 메모리 기록에 의존할 수 있습니다.1 그래서 초반의 잘못된 가정이 한참 뒤 결과를 망치기도 하고, 에이전트가 엉뚱한 하위 작업에 실행 예산을 써버리거나, 스스로 오염시킨 메모리를 다시 참조하는 실패도 생깁니다.1
스탠퍼드 연구진이 소개한 TRACE는 바로 이 지점을 겨냥한 에이전트 학습 시스템입니다.2 핵심은 실패를 단순 로그로 남기는 것이 아니라, 반복되는 능력 격차를 찾아 훈련 가능한 환경으로 바꾸는 것입니다.
최종 점수만으로는 에이전트 실패를 설명하기 어렵다
일반적인 평가는 최종 성공 여부에 집중합니다. 하지만 에이전트처럼 실행 과정이 긴 시스템에서는 최종 점수만으로 많은 정보를 놓칩니다.1
예를 들어 결과가 실패였다고 해도 원인은 다양할 수 있습니다.
처음 문제를 잘못 해석했을 수 있습니다.
올바른 도구를 잘못된 순서로 호출했을 수 있습니다.
중간 메모리에 잘못된 정보를 저장하고, 나중에 다시 참조했을 수 있습니다.
중요한 하위 작업 대신 덜 중요한 작업에 예산을 소모했을 수 있습니다.
이런 실패는 마지막 출력만 봐서는 구분하기 어렵습니다. 따라서 에이전트를 개선하려면 “맞았는가, 틀렸는가”보다 어떤 실행 궤적을 거쳐 실패했는가를 봐야 합니다.
TRACE는 이 실행 궤적, 즉 에이전트가 입력부터 출력까지 거친 행동 기록을 분석 대상으로 삼습니다. 성공한 궤적과 실패한 궤적을 비교해, 특정 환경에서 반복적으로 드러나는 부족한 능력을 진단합니다.2
TRACE의 초점은 데이터가 아니라 ‘검증 가능한 환경’이다
TRACE가 흥미로운 이유는 단순히 더 많은 학습 데이터를 만드는 방식이 아니라는 점입니다.
이 시스템은 에이전트의 자체 궤적에서 능력 격차를 찾고, 그 능력별로 검증 가능한 학습 환경을 하나씩 합성합니다.2 즉 “이 에이전트가 무엇을 자주 못하는가”를 먼저 정의한 뒤, 그 능력을 실제로 훈련하고 평가할 수 있는 환경을 만드는 구조입니다.
예를 들어 특정 도구를 올바른 순서로 사용하는 능력이 부족하다면, TRACE는 그 능력을 요구하는 환경을 구성합니다. 중요한 점은 단순 예시를 추가하는 것이 아니라, 해당 능력이 발휘됐는지 확인할 수 있는 형태로 환경을 만든다는 것입니다.
그다음 TRACE는 능력별 LoRA 어댑터를 학습합니다.2 LoRA는 전체 모델을 다시 학습하는 대신 일부 작은 가중치만 추가로 조정하는 방식입니다. TRACE는 이렇게 능력별로 학습된 어댑터를 활용해, 과제에 맞는 개선을 적용하는 방향을 취합니다.3
개선의 단위가 ‘점수’에서 ‘능력 결함’으로 바뀐다
TRACE의 의미는 에이전트 개선 단위를 더 작고 실용적인 수준으로 낮춘 데 있습니다.
기존 접근이 “벤치마크 점수를 올리자”에 가까웠다면, TRACE는 “어떤 능력이 부족해서 실패했는가”를 먼저 묻습니다. 이 차이는 실무적으로 중요합니다. 점수는 결과를 보여주지만, 능력 결함은 다음에 무엇을 고쳐야 하는지 알려주기 때문입니다.
논문은 TRACE가 τ²-Bench에서 베이스 에이전트 대비 +15.3점, SWE-Bench Verified에서 +15.0점 Pass@1 향상을 보였다고 보고합니다.2 공개 저장소 기준 SWE-bench Verified 참조 실행에서는 73.2% Pass@1을 기록했습니다.3
물론 이 수치만으로 모든 환경에서 같은 효과를 보장한다고 볼 수는 없습니다. 다만 TRACE가 보여주는 방향은 분명합니다. 긴 실행, 도구 사용, 메모리 의존성이 커질수록 에이전트 평가는 최종 결과보다 실행 과정 중심으로 이동해야 합니다.
실무적으로 가져갈 점
에이전트를 운영하거나 개선한다면 TRACE에서 배울 수 있는 교훈은 세 가지입니다.
첫째, 성공률만 보지 말고 trace를 남겨야 합니다. 에이전트 실패의 원인은 마지막 출력이 아니라 중간 실행 과정에 숨어 있는 경우가 많습니다.
둘째, 실패를 곧바로 프롬프트 수정 문제로만 다루지 않는 편이 좋습니다. 반복되는 실패가 있다면 그것이 특정 능력 결함인지 먼저 분리해야 합니다.
셋째, 분리한 능력 결함을 재현 가능한 작은 환경으로 만들 수 있는지 봐야 합니다. 그래야 실패가 관찰에서 끝나지 않고 학습 대상으로 바뀝니다.
TRACE는 모든 에이전트 문제의 해답은 아닙니다. 하지만 에이전트가 더 길게 실행되고, 더 많은 도구와 메모리에 의존할수록 중요한 질문은 바뀝니다.
“이번에 성공했는가?”보다 “어떤 능력 때문에 반복적으로 실패하는가?”가 더 중요해집니다. TRACE는 그 질문을 학습 시스템으로 구현한 사례입니다. 실패를 기록하는 수준을 넘어, 실패를 훈련 가능한 환경으로 바꾸는 것이 다음 단계입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.