인공지능(AI) 모델의 성능을 높이기 위해 매번 수십억 개의 파라미터를 다시 학습시켜야 했던 방식에서 벗어나, 모델 가중치는 그대로 둔 채 주변 시스템을 최적화하여 능력을 끌어올리는 새로운 접근법이 제시되었습니다. Google Cloud AI Research는 최근 대규모 언어 모델(LLM) 에이전트가 자신의 프롬프트와 도구, 메모리 구성을 스스로 재작성하여 성능을 개선하는 프레임워크인 RRSI(Regularized Recursive Self-Improvement)를 오픈소스로 공개했습니다.1
RRSI는 모델의 가중치(Weights)를 고정한 상태에서 에이전트의 운영 환경인 '하네스(Harness)'를 스스로 수정하게 만듭니다. 특히 이 과정에서 발생하기 쉬운 '과적합(Overfitting)' 문제를 기술적으로 해결하여, 특정 테스트 데이터뿐만 아니라 처음 접하는 작업에서도 성능 향상이 유지되도록 설계되었습니다. 개발자와 기업이 이 기술의 도입 가치를 판단할 수 있도록 RRSI의 핵심 작동 원리와 검증된 데이터를 상세히 분석합니다.
'하네스(Harness)'의 개방형 편집과 자동 최적화
현대의 AI 에이전트는 독립적인 모델이 아니라, 이를 감싸고 있는 프롬프트 체계, 외부 도구(API) 연결 방식, 대화 맥락 관리 시스템 등이 복합적으로 작용하는 시스템입니다. 이를 '하네스'라고 부르는데, 에이전트가 파일 내용을 정확히 읽거나 오류에서 복구하는 능력은 모델 자체의 성능만큼이나 이 하네스의 설계에 따라 결정됩니다.3 기존에는 엔지니어가 실패 사례를 일일이 분석하며 수동으로 수정해야 했으므로 개선 속도에 한계가 있었습니다.
RRSI는 이 하네스의 거의 모든 요소(프롬프트, 제어 흐름, 도구, 스킬, 메모리, 서브 에이전트 구성 등)를 수정할 수 있는 '개방형 편집 공간(Open edit space)'을 제공합니다.2 에이전트는 특정 도구가 부족하거나 프롬프트가 모호하여 작업에 실패하면, 스스로 가설을 세우고 하네스 코드를 직접 수정합니다. RRSI 프레임워크는 동일한 루프를 통해 코딩(Terminal-Bench 2.1), 문서 작업(Harvey LAB), 엔지니어링 설계(EngDesign) 등 서로 다른 영역의 에이전트를 구동할 수 있는 범용성을 갖추고 있습니다.2
과적합을 막는 4가지 정규화(Regularization) 장치
AI가 스스로를 개선하게 할 때의 가장 큰 위험은 '시험 문제 외우기'입니다. 특정 벤치마크 점수만 높이고 정작 실무 환경에서는 성능이 떨어지는 현상을 막기 위해, RRSI는 탐색 경로 자체를 규제하는 '정규화' 원칙을 도입했습니다.3
누출 비평가(Leakage critic): 새로운 개선안이 제안될 때, 테스트 데이터의 정답이나 벤치마크 고유의 로직이 프롬프트에 직접 삽입되는 '부정행위'가 있는지 LLM 리뷰와 도메인별 거부 리스트(Denylist)를 통해 감시합니다.2
노이즈 플로어(Noise floor): 평가 과정에서 발생하는 미세한 성능 향상이 우연(통계적 노이즈)에 의한 것인지 판단합니다. 인스턴스별로 설정된 기준치(예: 0.004~0.020 범위) 이하의 사소한 이득은 무시하여 불필요한 복잡성이 늘어나는 것을 방지합니다.2
비용 규칙(Cost rule): 성능이 향상되더라도 그 과정에서 추가로 소비되는 추론 토큰(Token) 비용이 일정 수준을 넘어서면 해당 개선안을 거부합니다. 실제로 RRSI는 정규화되지 않은 진화 방식보다 30% 적은 정책 토큰을 사용하면서도 더 나은 성능을 유지했습니다.3
시간적 예산 관리와 가지치기(Pruning): 한 번에 묶어서 수정할 수 있는 편집 횟수를 제한(Annealed budget)하고, 시간이 지나며 더 이상 성능에 기여하지 못하는 도구나 메모리 구성 요소는 자동으로 제거하여 시스템을 가볍게 유지합니다.23
이러한 장치들은 에이전트가 벤치마크 특화적인 편법 대신, 새로운 환경에서도 재사용 가능한 보편적인 문제 해결 메커니즘을 찾도록 유도합니다.
Claude Opus 4.8 기반 검증 및 성능 지표
RRSI의 효용성은 여러 도메인의 벤치마크를 통해 입증되었습니다. 연구팀은 Claude Opus 4.8 모델을 고정된 정책 모델로 사용하여 코딩 성능을 측정하는 Terminal-Bench 2.1 테스트를 수행했습니다.1
그 결과, RRSI 적용 전 74.2%였던 성공률은 적용 후 80.2%로 6.0%p 향상되었습니다.1 특히 주목할 점은 평가에 사용된 6개의 '보류 분할(Held-out splits, 모델이 개선 과정에서 본 적 없는 데이터)' 모두에서 성능 향상이 관찰되었다는 것입니다. 이는 RRSI가 학습 데이터에 매몰되지 않고 실질적인 일반화 능력을 확보했음을 보여줍니다.
범용성 측면에서도 유의미한 결과가 확인되었습니다. RRSI는 진화 대상이 된 데이터셋(Evolve split)에서 최대 14.1포인트의 점수 향상을 기록했으며, 한 번도 본 적 없는 5개의 외부 벤치마크(Out-of-distribution)에서도 최대 4.7포인트의 향상을 보였습니다.3 이는 기존의 무분별한 자가 개선 방식이 외부 벤치마크에서 오히려 성능이 하락하거나 초기 상태(H0)보다 못해지는 현상을 보인 것과 대조적입니다.3
엔지니어를 위한 투명한 관리 환경과 도입 기준
RRSI는 자가 개선 과정이 '블랙박스'가 되지 않도록 철저한 관리 도구를 제공합니다. 모든 후보 하네스는 Git 시스템의 별도 워크트리(Worktree) 내에서 초안 작성, 심사, 평가가 이루어지며, 승인된 경우에만 브랜치를 '패스트포워드(Fast-forward)'하여 최종 커밋 상태로 확정합니다.2
또한 '편집 이력(Edit history)'은 수정된 구성 요소, 제안된 가설, 측정된 비용 변화, 그리고 최종 판정 근거를 JSONL 형식으로 상세히 기록합니다. 평가 방식 역시 엄격하여, evaluate.py 모듈은 가중치 기반 트라이얼 보상 방식을 사용하며 실행되지 않은 시도는 전체 분모에 포함하되 0점으로 처리하여 수치를 왜곡하지 않습니다.2
도입 전 확인해야 할 기준:
작업 복잡도: 단순 질의응답보다는 여러 도구를 사용하고 긴 단계의 작업을 수행해야 하는 에이전트(예: 소프트웨어 엔지니어링, 설계 자동화)일수록 RRSI의 하네스 최적화 효과가 큽니다.
탐색 비용: 초기 하네스를 최적화하는 단계에서는 수많은 시뮬레이션과 평가를 반복하므로 상당한 양의 API 호출 비용이 발생할 수 있습니다. 다만, 최적화 완료 후 실제 운영 단계에서는 이전보다 적은 토큰으로 높은 정확도를 기대할 수 있습니다.
모델 의존성: RRSI는 모델 가중치를 수정하지 않으므로, Claude Opus 4.8과 같이 이미 높은 기본 능력을 갖춘 모델의 잠재력을 100% 끌어내는 데 가장 적합합니다.
결론적으로 RRSI는 모델 재학습 없이도 에이전트의 성능을 안전하게 고도화하고 싶은 기업에게 실질적인 해결책을 제시합니다. Google Research가 제공하는 투명한 감사 시스템과 정규화 장치는 자가 개선 AI 시스템의 신뢰성을 확보하는 데 중요한 기준이 될 것입니다.
1Google Research Open-Sources RRSI: AI Agents That Improve Their Own Harness Without Overfitting
2RRSI: Regularized Recursive Self-Improvement of Agent Harnesses (GitHub)
3RRSI: Regularized Recursive Self-Improvement of Agent Harnesses (arXiv:2609.24972v1)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.