최근 Chroma가 Context-1이라는 "자기 편집(self-editing)" 검색 에이전트를 공개했습니다.1 요지는 간단합니다. 검색 에이전트가 자료를 모으다 스스로 맥락이 비대해지면, 알아서 불필요한 내용을 지워가며 계속 똑똑하게 찾게 만들자는 시도죠. 이게 중요한 이유는, 많은 RAG/에이전트 시스템이 성능보다 먼저 컨텍스트 관리에서 무너지기 때문입니다.2
Context-1이 노리는 문제: RAG의 '한 번에 찾기' 한계
전통적인 RAG는 "질문 → 한 번 검색 → 답변" 흐름에 강합니다. 그런데 현실의 질문은 대개 중간 단서가 필요합니다. 예를 들어 "A 회사의 제품 리콜 원인과 그 직후 재무 리스크를 뒷받침하는 근거" 같은 건, 한 번의 검색으로 끝나기 어렵고 여러 번의 탐색(멀티홉)이 필요하죠.
그래서 요즘은 LLM이 스스로 질문을 쪼개고(쿼리 분해), 중간 결과를 바탕으로 다음 검색을 설계하는 에이전틱 서치(agentic search)가 각광받습니다.1 다만 이 방식은 턴이 늘수록 검색 결과·툴 출력·중복 문서가 쌓여, 맥락이 탁해지는 문제가 따라옵니다.
컨텍스트 로트: 길어질수록 똑똑해지지 않고 '썩는다'
많은 사람들이 "컨텍스트 창이 1M 토큰이면 다 해결"이라고 기대하지만, 실제로는 길어질수록 품질이 떨어지는 현상(컨텍스트 로트)이 널리 관측됩니다. Chroma가 18개 프런티어 모델을 실험했더니, 입력이 길어질수록 전부 성능이 저하됐습니다.2 즉, "창 크기"는 안전장치가 아니라 착시일 수 있습니다.
여기에 "중간이 약해지는" lost-in-the-middle 같은 위치 편향까지 겹치면, 에이전트는 정보를 갖고도 못 쓰는 상태가 됩니다.2 결국 장시간 작업형 코딩/리서치 에이전트에서 실패 원인은 '모델이 멍청해서'가 아니라 '맥락이 더러워져서'인 경우가 많습니다.
자기 편집(Self-Editing): 버리지 않으면, 다음 검색이 망가진다
Context-1의 핵심은 "요약해서 줄이기"가 아니라 "문서/패시지 단위로 버릴 건 버리는 정책"을 검색 루프 안에 넣었다는 점입니다.1 요약은 편하지만, 나중에 결정적 근거가 필요할 때 디테일이 사라질 수 있죠. 반면 선택적 폐기는 '근거를 보존하되' 불필요한 조각을 제거해 신호 대 잡음비를 회복하는 접근입니다.
Hacker News에서 나온 관찰도 흥미롭습니다. 맥락이 충분히 편집·압축되면, 시스템이 "검색+필터링"처럼 분리된 느낌이 아니라, 하나의 과정이 계속 자기 맥락을 재구성하는 쪽으로 보인다는 겁니다.3 쉽게 말해 "찾고, 쌓고, 지워가며" 스스로 집중력을 유지하는 습관을 학습한 검색가에 가깝습니다.
실전에서의 의미: '큰 모델 1개'보다 '작은 검색가 + 큰 두뇌'
Context-1은 20B 규모의 모델을 검색 서브에이전트로 두고, 최종 답변은 더 강한 추론 모델이 하도록 역할을 분리합니다.1 이 설계는 비용과 속도에서 특히 유리합니다. 검색은 빠르게 많이 시도해야 하고, 답변은 마지막에 정확히 쓰면 되니까요.
또 하나의 포인트는 "컨텍스트를 늘리면 비용도 는다"는 현실입니다. 긴 컨텍스트는 요금·지연시간·실효 성능 저하라는 3종 세트를 부릅니다.4 그래서 앞으로의 RAG/에이전트 경쟁은 "누가 더 큰 창을 가졌나"가 아니라, "누가 더 잘 덜어내며 오래 집중하나"로 옮겨갈 가능성이 큽니다.
시사점
RAG 고도화를 고민한다면, 이제 질문은 "검색 정확도를 어떻게 올리지?"만이 아닙니다. "검색 과정에서 쌓인 맥락을 누가, 언제, 어떤 기준으로 치우지?"가 동급의 설계 과제가 됐습니다.
실무 팁도 간단합니다. 멀티홉 질문일수록 검색 결과를 무한 적재하지 말고, 턴마다 "이번 턴의 다음 검색에 꼭 필요한 근거만 남기기" 규칙을 두세요. 그리고 가능하다면 검색 역할과 답변 역할을 분리해, 작은 모델(또는 전용 에이전트)에게 탐색을 맡기고 큰 모델은 '마지막 글쓰기'에 집중시키는 편이 효율적입니다.1
참고
1Chroma Context-1: Training a Self-Editing Search Agent
2Context Rot: The Complete Guide to Why LLMs Degrade as Context Grows
3Chroma Context-1: Training a Self-Editing Search Agent | Hacker News
4LLM Context Window Comparison (2026): Every Model, Priced and Benchmarked
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.