AI 코딩 에이전트가 실무의 영역으로 들어오면서 모델의 추론 능력만큼이나 중요해진 것이 '운영 비용'의 관리입니다. 2026년 9월 21일, Nvidia 연구진은 대만국립대(NTU), MIT와 협력하여 AI 에이전트의 토큰 트래픽을 혁신적으로 줄이는 오픈소스 시스템 SoL-Pi를 공개했습니다1. 이 시스템은 모델의 파라미터를 수정하거나 더 가벼운 모델로 교체하는 일반적인 방식 대신, 에이전트와 실행 환경 사이의 상호작용을 중계하는 제어 계층인 '하네스(harness)'를 최적화하는 데 집중했습니다2.
SoL-Pi는 EdgeBench 평가 결과, 기존 Pi 코딩 에이전트 대비 토큰 사용량을 최대 49.0%까지 절감하는 성과를 거두었습니다1. 이는 에이전트가 복잡한 코딩 작업을 수행할 때 발생하는 방대한 로그와 반복적인 맥락 전송을 제어함으로써, 에이전트 운용의 경제적 타당성을 확보하려는 시도로 풀이됩니다. 특히 Codex 대비 50%, Claude Code 대비 54.3%의 토큰 절감률을 기록하며 하네스 최적화가 에이전트 성능 유지와 비용 절감이라는 두 마리 토끼를 잡을 수 있음을 입증했습니다21.
모델의 두뇌가 아닌 ‘소통 방식’에 주목한 하네스 최적화
코딩 에이전트는 작업을 완수하기 위해 수많은 터미널 명령을 실행하고 그 결과를 읽어 들입니다. 이 과정에서 발생하는 빌드 로그나 테스트 결과는 수만 토큰에 달하는 경우가 많으며, 이를 매번 모델의 맥락 창(Context Window)에 밀어 넣는 방식은 막대한 API 비용을 발생시킵니다. Nvidia 연구진은 이러한 비효율이 발생하는 지점인 하네스 계층을 개선하기 위해 '자동 연구 루프(Auto-Research Loop)'를 도입했습니다3.
연구팀은 535개의 실행 가능한 환경을 대상으로 152개 방향의 탐색을 수행했으며, 이 과정에서 3,000회 이상의 실행과 60,000회 이상의 에이전트-환경 상호작용 데이터를 생성했습니다2. 여기서 핵심은 '과적합'의 방지입니다. 연구진은 51개의 공개 태스크 중 11개만을 단발성 검증에 사용하고, 나머지 40개는 최종 평가를 위해 EdgeBench 환경에서 완전히 분리(walled off)하여 보존했습니다21. 이를 통해 특정 문제에만 작동하는 편법이 아닌, 보편적인 코딩 환경에서 작동하는 4가지 핵심 메커니즘을 도출해냈습니다.
SoL-Pi의 4대 핵심 메커니즘: Action Fusion과 데이터 압축
발굴된 메커니즘 중 가장 주목할 만한 기능은 작업 효율을 높이는 Action Fusion과 맥락을 관리하는 Online Context Compact입니다23. Action Fusion은 파일 수정과 그에 따른 후속 검증(빌드, 테스트 등)을 단일 도구 호출로 통합하여 모델과 환경 간의 왕복 턴(Turn)을 줄입니다31. Online Context Compact는 에이전트의 update_plan 도구와 연동되어, 작업 완료 단계마다 맥락 재작성의 경제적 실익을 계산하고 적절한 시점에 맥락을 압축하여 토큰 소모를 방어합니다23.
대용량 데이터를 처리하는 방식 또한 정교해졌습니다. ObservationPack은 10 KiB를 초과하는 도구 출력을 로컬 디렉토리에 저장하고, 모델에게는 첫 두 번의 요청에만 전체를 전달한 뒤 세 번째부터는 요약된 발췌본과 고유 핸들(ID)만 제공합니다31. 모델이 상세 내용이 더 필요하다고 판단할 때만 선택적으로 데이터를 호출하게 유도하는 방식입니다.
또한 Evidence-Preserving Reducer는 4 KiB 이상의 로그를 GPT-5.6 Luna와 같은 저렴한 모델로 보내 요약본인 '영수증'을 생성합니다31. 이때 단순히 요약하는 데 그치지 않고 결정론적 검증기(deterministic verifier)를 통해 스키마, 소스 해시, 종료 상태, 인용의 정확성을 확인하여 에이전트가 잘못된 정보(환각)에 기반해 판단하는 것을 방지합니다3.
벤치마크로 본 성능과 비용의 트레이드오프
SoL-Pi의 실질적인 가치는 성능 하락을 최소화하면서 비용을 극적으로 낮췄다는 점에 있습니다. GPT-5.6 Sol 백엔드를 사용한 효율성 구성(Efficiency configuration)에서 SoL-Pi는 11억 1,000만 토큰을 사용했는데, 이는 기본 Pi의 21억 5,000만 토큰 대비 49.0% 감소한 수치입니다1. 이 과정에서 벤치마크 점수는 44.8점에서 42.0점으로 소폭 하락(기존의 93.7% 유지)하는 데 그쳤습니다1.
반면 성능을 최우선으로 하는 사용자는 특정 단일 메커니즘만 활성화하여 오히려 기존 성능을 상회하는 결과를 얻을 수도 있습니다. 실제로 특정 구성에서는 Pi 하니스의 점수를 5.3% 상회하면서도 토큰을 절감하는 결과가 확인되었습니다21. Terminal-Bench 4의 63개 CPU 태스크 평가에서는 SoL-Pi가 15개를 해결하여 Codex와 Pi(각 18개)보다 소폭 낮은 성공률을 보였으나, 총비용 측면에서는 Pi 대비 약 26.3% 저렴하게 작업을 완료했습니다21.
또한 연구진은 이 시스템의 범용성을 확인하기 위해 수정을 거치지 않은 Opus 5 모델에도 적용했으며, Pi 성능의 94.3%를 유지하면서 유사한 수준의 비용 절감 효과를 거두었다고 밝혔습니다1. 2026 수학 올림피아드(IMO 2026)의 Lean 4 형식 검증 태스크에서도 6문제 중 3문제를 해결하며 고난도 논리 작업에서의 유효성을 입증했습니다2.
도입 전 확인해야 할 기술적 제약과 운영 가이드
SoL-Pi는 수정되지 않은 Pi 0.85.1 버전 위에 설치되는 독립형 확장 기능으로, 모든 기능은 기본적으로 비활성화된 '옵트인(opt-in)' 방식입니다23. 즉, 사용자가 sol-pi.json 설정을 통해 명시적으로 기능을 켜야만 작동합니다. 기술적으로는 Node.js 22.19 이상과 npm 환경, 그리고 @earendil-works/pi-coding-agent 0.85.1 버전이 필수적으로 요구됩니다3.
실무 운영 시 고려해야 할 점은 데이터 관리와 보안입니다. ObservationPack과 Evidence-Preserving Reducer가 생성하는 아카이브 데이터는 <session-directory>/sol-pi/<session-id>/ 경로에 저장되는데, Pi 세션이 종료되어도 자동으로 삭제되지 않으므로 관리자의 정기적인 디스크 청소가 필요합니다3. 또한 로그 요약을 위해 외부 모델인 GPT-5.6 Luna를 사용할 경우, 민감한 소스 코드나 빌드 정보가 외부로 전송될 수 있다는 점을 유의하여 보안 정책에 맞는 모델 경로를 지정해야 합니다31.
결론적으로 SoL-Pi는 AI 에이전트의 성능이 정체기에 접어들었을 때, 이를 둘러싼 운영 체계를 고도화함으로써 실무 적용 가능성을 높인 사례입니다. 특히 20개 워커로 구성된 스웜(swarm) 환경에서 비용을 26.8% 절감한 결과는 대규모 자동화 시스템 구축을 검토 중인 기업에 중요한 지표가 될 것입니다2.
2Nvidia's SoL-Pi system cuts coding agent token usage nearly in half by optimizing the harness
3⚡ SoL-Pi: Scaling Auto-Research Loops for Efficient Agent Harnesses
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.