ALTK-Evolve: 실행 경험을 재사용 가능한 지침으로 바꾸는 에이전트 메모리
에이전트 메모리의 목적은 과거 기록을 모두 다시 읽게 하는 것이 아니다. 다음 작업에 도움이 될 교훈을 추출하고, 필요한 순간에 적절한 범위로 제공하는 데 있다. ALTK-Evolve는 모델 가중치를 업데이트하거나 인간 주석을 추가하지 않고도 과거 실행 경험을 재사용 가능한 지침으로 바꾸는 메모리 시스템이다.1
실행 궤적에서 검증된 지침을 추출한다
ALTK-Evolve는 에이전트의 사고 과정, 도구 호출, 호출 결과가 담긴 실행 궤적을 분석한다. 여기서 반복적으로 활용할 수 있는 가이드라인과 모범 사례를 추출한 뒤, 빈도·영향도·신뢰도를 기준으로 평가해 유용한 규칙만 장기 보관한다.2
각 가이드라인에는 서로 독립적인 실행 사례에서 같은 교훈이 확인된 횟수인 지원 수도 기록된다. 새 정보가 기존 가이드라인과 충돌하면 LLM 기반 충돌 해결 기능이 기존 지침을 갱신한다.13 따라서 이 시스템은 로그를 단순히 축적하는 저장소라기보다, 근거와 최신성을 관리하는 지식 기반에 가깝다.
성능을 좌우하는 것은 메모리의 양보다 전달 방식이다
저장된 지침을 모두 제공한다고 항상 좋은 결과가 나오는 것은 아니다. 모델의 처리 능력과 과제 특성에 맞춰 관련 지침을 검색하고 전달해야 한다.
9개 모의 앱의 585개 다단계 과제로 구성된 AppWorld 평가에서는 8개 모델을 대상으로 이 차이를 확인했다. gpt-oss-120b는 선별 검색을 적용했을 때 TGC가 39.9%에서 56.0%로 16.1%포인트 상승했다. 이때 과제당 토큰 사용량은 110K에서 116K로 약 5% 늘었다. DeepSeek-V3.2는 전체 지침을 제공했을 때 TGC가 79.8%에서 89.3%로 9.5%포인트 높아졌다.3
이 결과는 하나의 전달 정책을 모든 모델에 일괄 적용하기보다, 모델별로 검색 범위와 컨텍스트 양을 조정해야 한다는 점을 보여준다. 실무에서는 다음 세 가지를 함께 판단해야 한다.
현재 과제와 지침의 관련성을 얼마나 정밀하게 검색할 것인가
모델이 처리할 수 있는 컨텍스트 범위는 어느 정도인가
성능 향상을 위해 허용할 수 있는 토큰 비용은 얼마인가
도입 단계에 맞춰 저장소와 실행 방식을 선택한다
ALTK-Evolve는 MCP 서버, 벡터 저장소, LLM 기반 충돌 해결 기능을 통해 지식 기반을 관리한다.4 다만 처음부터 복잡한 구성을 도입할 필요는 없다.
시험 단계에서는 추가 의존성이 없는 기본 파일시스템 백엔드와 단순 텍스트 검색으로 시작할 수 있다. 의미 기반 유사도 검색이 필요해지면 PostgreSQL·pgvector 또는 Milvus 백엔드를 선택할 수 있다. PostgreSQL·pgvector는 프로덕션 환경에, Milvus는 대규모 벡터 검색에 권장된다.4
구성을 더 단순화하려면 Lite 모드를 사용할 수 있다. 이 모드는 별도의 상호작용 계층을 생략하고 필요한 작업을 에이전트 내부에서 수행한다.4 초기에는 단순한 저장·검색 구조로 효과를 검증한 뒤, 데이터 규모와 검색 요구가 커질 때 벡터 백엔드로 확장하는 접근이 현실적이다.
요약
ALTK-Evolve의 핵심은 모든 실행 기록을 저장하거나 모든 지침을 한꺼번에 제공하는 데 있지 않다. 반복된 경험을 검증 가능한 가이드라인으로 정제하고, 모델과 과제에 맞는 범위만 전달하는 것이 중요하다. 도입 시에는 단순한 파일시스템 검색으로 시작해 성능, 토큰 비용, 검색 규모를 확인한 뒤 적절한 백엔드와 전달 정책을 선택할 수 있다.
1Agent Lifecycle Toolkit (ALTK)
2ALTK‑Evolve: On‑the‑job learning for AI agents now ready for builders
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.