RLM을 이해할 때 출발점은 “더 긴 프롬프트를 넣는 기술”이 아니다. 핵심은 프롬프트와 대화 기록을 모델 컨텍스트 안에 모두 밀어 넣지 않고, 코드가 접근하고 조작할 수 있는 상징적 객체로 다룬다는 점이다.
오마르 카탑은 RLM 설계에서 이런 접근을 강조하며, RLM을 호출하는 작은 프로그램을 작성하는 방식을 “symbolic recursion”이라고 표현했다.1 이 표현은 RLM의 실질적인 차이를 잘 보여준다. 긴 입력을 더 크게 삼키는 것이 아니라, 긴 입력을 나누고 읽고 다시 호출하는 실행 구조를 만든다는 뜻이다.
프롬프트는 입력이 아니라 환경이다
기존 LLM 사용 방식에서는 긴 텍스트를 가능한 한 컨텍스트 창에 넣고, 모델이 한 번에 처리하기를 기대한다. RLM은 이 전제를 바꾼다. 긴 프롬프트를 외부 환경의 일부로 두고, 모델이 필요한 조각을 검사·분해·변환한 뒤 필요하면 하위 RLM 호출을 만든다.2
구현 관점에서 사용자 프롬프트 P는 Python REPL 안의 문자열 변수로 저장된다.3 루트 모델은 전체 프롬프트를 직접 보는 대신 길이, 짧은 접두부, 타입 정보 같은 메타데이터를 본다.3 그런 다음 P의 일부를 읽거나 변환하는 코드를 작성하고, 그 결과를 바탕으로 다음 호출을 구성한다.
이 관점에서 모델의 역할은 “모든 내용을 한 번에 기억하는 독자”가 아니라 “필요한 부분에 접근해 절차를 짜는 프로그램 작성자”에 가깝다.
Symbolic recursion은 무엇을 바꾸나
Symbolic recursion은 단순히 모델에게 “첫 번째 청크를 요약하고, 두 번째 청크를 요약하라”고 말하는 프롬프트 기법이 아니다. 모델이 코드로 반복과 분해 절차를 만들고, 각 조각에 대해 하위 RLM 호출을 실행하는 방식이다. 그 하위 호출도 다시 하나의 RLM처럼 동작하며, 필요하면 추가 재귀를 수행할 수 있다.3
중요한 차이는 상태가 어디에 남는가다. 일반적인 긴 컨텍스트 방식에서는 중간 결과가 다시 모델 컨텍스트 안에 쌓인다. RLM에서는 중간 결과가 REPL 변수에 저장된다.3 그래서 긴 작업을 여러 단계로 나누고, 결과를 모으고, 다시 참조하는 구조를 더 명시적으로 만들 수 있다.
이 구조 덕분에 RLM은 모델 컨텍스트 창보다 최대 두 자릿수 더 긴 입력을 처리할 수 있었다고 보고됐다.2 여기서 성과의 핵심은 컨텍스트 창 자체를 늘리는 데 있지 않다. 긴 입력을 외부 환경에 두고, 모델이 필요한 범위만 상징적으로 접근하도록 만든 데 있다.
판단 기준은 길이가 아니라 작업 구조다
RLM이 특히 의미 있는 경우는 단순히 “문서가 길다”는 상황이 아니다. 문서의 여러 부분을 읽고, 비교하고, 요약하고, 집계해야 하는 작업에서 가치가 커진다. 예를 들어 긴 보고서 전체에서 반복되는 주장과 예외를 찾거나, 여러 청크의 결과를 합쳐 최종 판단을 내려야 한다면 단순한 긴 컨텍스트 접근은 부담이 커진다.
반면 RLM은 작업을 다음처럼 구조화할 수 있다.
긴 프롬프트를 REPL 변수로 유지한다.
모델은 전체 텍스트 대신 메타데이터와 필요한 슬라이스를 본다.
코드가 문서를 나누고 하위 RLM 호출을 만든다.
하위 호출의 결과는 컨텍스트가 아니라 변수에 저장된다.
루트 또는 상위 호출이 그 결과를 다시 모아 최종 답을 만든다.
이런 방식은 “긴 문서를 읽는 능력”을 “긴 문서를 다루는 실행 절차”로 바꾼다. RLM의 실용적 의미도 여기에 있다.
적용할 때 봐야 할 것
RLM은 만능 해결책이 아니다. 재귀 호출은 비용과 지연 시간을 늘릴 수 있고, 처음의 분해 전략이 잘못되면 하위 호출 전체에 오류가 퍼질 수 있다. 따라서 실제 설계에서는 단순히 재귀를 허용하는 것보다 운영 경계를 두는 일이 중요하다.
특히 다음 요소를 함께 고려해야 한다.
최대 호출 수
재귀 깊이
중간 결과 캐시
실행 추적
잘못된 분해를 감지하는 검증 절차
결국 RLM과 symbolic recursion이 주는 메시지는 분명하다. 프롬프트를 거대한 토큰 덩어리로만 보지 말고, 접근 가능한 데이터 구조로 보라는 것이다. 앞으로 중요한 것은 더 긴 문서를 한 번에 넣는 능력만이 아니라, 긴 문서를 나누고 호출하고 결합하는 실행 구조를 얼마나 잘 설계하느냐다.
1Symbolic Access To Prompts And History Strengthens RLM Designs · Digg
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.