AgenticSTS: 에이전트 메모리는 '더 많이'가 아니라 '정해진 만큼'이어야 한다

LLM 에이전트가 긴 작업에서 흔들릴 때 원인은 꼭 모델 성능만이 아니다. 에이전트가 무엇을 기억하고, 그 기억을 다음 결정에 어떻게 보여주는지가 성능을 크게 좌우한다.

많은 에이전트 시스템은 과거 관찰, 도구 호출, 반성 내용을 프롬프트에 계속 덧붙이는 누적 컨텍스트 방식을 쓴다.¹ 구현은 쉽지만, 시간이 갈수록 프롬프트가 커지고 어떤 기억이 실제로 도움이 됐는지 분리해 분석하기 어려워진다.¹

AgenticSTS는 이 문제를 정면으로 다룬다. 핵심은 메모리를 “많이 저장하는 공간”이 아니라 “미래 결정이 볼 수 있는 정보의 계약”으로 정의한다는 점이다.¹

AgenticSTS의 핵심: 기억을 계약으로 제한하기

AgenticSTS는 매 결정마다 원시 대화 로그나 전체 실행 기록을 그대로 붙이지 않는다.¹ 대신 L1~L5의 5개 구조화된 메모리 계층에서 필요한 정보를 꺼내 새 사용자 메시지를 구성한다.¹²

이 계층은 역할·프로토콜, 상태별 스키마, 게임 지식, 실행 요약, 전략 스킬 라이브러리처럼 서로 다른 종류의 정보를 나눠 담는다.² 각 결정 프롬프트는 typed retrieval, 즉 정보 유형별 검색으로 조립된다.¹

이 설계가 중요한 이유는 두 가지다.

첫째, 실행이 길어져도 프롬프트 크기를 제한된 상태로 유지할 수 있다.¹ 긴 작업일수록 모든 기록을 누적하는 방식은 비용과 노이즈를 함께 키운다. AgenticSTS는 “다음 결정에 보여줄 정보”를 미리 정해진 구조 안에서 관리한다.

둘째, 특정 메모리 계층만 끄고 성능 변화를 확인할 수 있다.¹ 즉, 메모리를 하나의 덩어리로 보지 않고 실험 가능한 부품으로 다룬다. 장기 에이전트에서 성능 개선이 모델 때문인지, 프롬프트 때문인지, 특정 메모리 구성 때문인지 따져볼 수 있게 된다.

왜 Slay the Spire 2인가

연구진은 테스트베드로 덱빌딩 로그라이크 게임 Slay the Spire 2를 사용했다.¹ 이 게임은 닫힌 규칙을 가진 확률적 덱빌딩 게임으로 설명되며, 한 번의 실행에서 수백 번의 전술적·전략적 결정을 요구한다.¹

이 점이 중요하다. 단순 질의응답에서는 한 번의 답변 품질이 핵심이지만, 이런 게임에서는 이전 선택이 이후 상황을 계속 바꾼다. 카드 선택, 전투 판단, 경로 선택, 자원 관리가 누적되어 생존 가능성을 만든다.

따라서 여기서 메모리는 단순한 기록 저장소가 아니다. 에이전트가 다음 선택을 내릴 때 무엇을 참고할지 정하는 의사결정 인터페이스에 가깝다.

결과를 어떻게 봐야 하나

A0 난이도에서 메모리 계층이 없는 에이전트는 10판 중 3판을 이겼다.¹ 반면 L5 스킬 라이브러리를 켠 에이전트는 10판 중 6판을 이겼다.¹

이 결과는 인상적이지만, 과장해서 해석할 필요는 없다. 표본이 작기 때문에 “승률이 확정적으로 두 배 좋아졌다”는 식의 결론보다는, 구조화된 메모리가 장기 의사결정에서 성능 차이를 만들 수 있다는 실험적 신호로 보는 편이 적절하다.

더 중요한 점은 AgenticSTS가 이런 비교를 가능하게 만들었다는 것이다. 누적 컨텍스트 방식에서는 어떤 정보가 성능에 기여했는지 분리하기 어렵다. 반면 AgenticSTS는 메모리 계층을 제한하고 나눠두었기 때문에, 특정 계층의 효과를 따로 확인할 수 있다.

실무 에이전트에 주는 교훈

AgenticSTS의 실용적 가치는 “게임을 더 잘했다”보다 “장기 에이전트의 메모리를 설계하고 평가하는 방법을 제시했다”는 데 있다.

실무 에이전트를 만들 때도 같은 원칙을 적용할 수 있다.

• 모든 로그를 계속 붙이지 않는다.

• 기억해야 할 정보를 역할별로 계층화한다.

• 각 계층이 다음 결정에 제공할 정보를 명확히 정한다.

• 필요할 때만 검색해 프롬프트에 넣는다.

• 특정 메모리 구성요소를 끄고 성능 변화를 측정할 수 있게 만든다.

이렇게 해야 메모리가 커지는 것과 에이전트가 똑똑해지는 것을 구분할 수 있다. 장기 작업에서 중요한 것은 “얼마나 많이 기억하느냐”가 아니라 “다음 결정에 필요한 기억을 얼마나 안정적으로 제공하느냐”다.

연구진은 298개의 전체 게임 실행 기록, 고정된 메모리 스냅샷, 평가 스크립트를 Hugging Face에 공개한다.¹ 이 자료의 가치는 승률 그 자체보다 크다. AgenticSTS는 장기 LLM 에이전트의 메모리를 감각이 아니라 재현 가능한 실험 대상으로 다루게 해준다.

¹AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

²AgenticSTS -- A Bounded-Memory Testbed for Long-Horizon LLM Agents