LLM 에이전트의 성능을 볼 때 흔히 모델 크기, 도구 연결, 벤치마크 점수에 먼저 주목합니다. 그러나 실제 다중 턴 환경에서 더 근본적인 변수는 따로 있습니다. 에이전트가 이전 단계에서 무엇을 생각했고, 무엇을 관찰했으며, 어떤 선택지를 버렸는지를 다음 판단에 어떻게 넘길 것인가 하는 문제입니다.
검색, 도구 사용, 환경 상호작용을 반복하는 에이전트는 단발성 질의응답 모델과 다릅니다. 한 번 답을 생성하고 끝나는 것이 아니라, 행동을 취하고, 관찰을 받고, 다시 계획을 수정합니다. 문서 1은 이런 과정에서 각 의사결정 단계마다 다음 행동 선택, 관찰 반영, 종료 판단에 쓰이는 계산을 ‘agentic reasoning’으로 정의합니다.1 이 정의를 기준으로 보면, 에이전트의 추론은 최종 답변 직전에만 발생하는 내부 과정이 아니라 전체 작업 궤적을 구성하는 운영 메커니즘에 가깝습니다.
다중 턴 에이전트에서 추론은 누적된다
전통적인 Chain-of-Thought 방식은 모델이 문제를 풀기 위해 명시적 사고 과정을 길게 생성하도록 유도합니다. 단일 턴 문제에서는 이것이 정답률을 높이는 전략이 될 수 있습니다. 하지만 에이전트 환경에서는 상황이 복잡해집니다. 여러 턴에 걸쳐 긴 Chain-of-Thought가 반복되면, 이전 턴의 추론 토큰이 계속 컨텍스트에 쌓입니다.1
이 누적은 양면적입니다. 한편으로는 작업의 맥락을 보존합니다. 에이전트는 이전에 어떤 도구를 왜 호출했는지, 어떤 관찰을 근거로 다음 단계를 정했는지, 어느 가설이 이미 배제됐는지를 이어받을 수 있습니다. 다른 한편으로는 비용과 잡음을 키웁니다. 길어진 컨텍스트는 처리 부담을 늘리고, 중요한 관찰과 불필요한 사고 흔적을 함께 밀어 넣을 위험이 있습니다.
더 큰 문제는 모든 턴이 같은 양의 추론을 필요로 하지 않는다는 점입니다. 어떤 턴은 단순히 다음 검색어를 정하면 충분하지만, 어떤 턴은 모순된 관찰을 해석하거나 종료 여부를 판단해야 합니다. 문서 1은 에이전트의 턴별 추론 수요가 크게 달라질 수 있는데도 기존 방식은 추론 노력을 거의 균등하게 배분한다고 설명합니다.1 즉, 어려운 턴과 쉬운 턴을 같은 방식으로 처리하면 자원 배분이 비효율적일 수 있습니다.
압축과 보존 사이의 설계 선택
이 문제에 대한 한 가지 대응은 추론 토큰을 줄이는 것입니다. 명시적 CoT를 유지하되 일부를 가지치기하거나, 길이 예산을 두거나, 짧고 정답인 해답을 보상하는 방식이 여기에 해당합니다.1 이런 접근은 비용 관리 측면에서 자연스럽습니다. 특히 긴 작업을 많이 처리하는 시스템이라면 추론 토큰 증가는 곧 운영 부담으로 이어질 수 있습니다.
하지만 추론을 줄이는 전략만으로는 충분하지 않을 수 있습니다. 다중 턴 에이전트에서는 이전 추론이 단순한 장식이나 중간 산출물이 아니라, 다음 행동을 정하는 데 필요한 상태 정보가 될 수 있기 때문입니다. 따라서 핵심 질문은 “Chain-of-Thought를 많이 쓸 것인가, 적게 쓸 것인가”가 아닙니다. 더 정확히는 “어떤 추론 흔적을 다음 턴에 남길 가치가 있는가”입니다.
AutoForge 관련 연구가 흥미로운 이유도 여기에 있습니다. AutoForge 논문은 다중 턴 궤적에서 이전 추론 흔적을 유지하는 방식을 분석했고, 이를 “interleaved thinking”이라고 부릅니다.2 또한 AgentForge 저자들은 Qwen3-Thinking-30B-A3B의 강화학습 훈련을 위해 검증 가능한 합성 시뮬레이션 환경들을 만들었습니다.3 훈련된 모델들은 TauBench와 VitaBench 같은 벤치마크에서 평가되었습니다.3
실험에서 주목할 대목은 강화학습 훈련 중 interleaved thinking을 활성화했을 때 에이전트 정확도가 향상되는 경향이 관찰됐다는 점입니다.2 이 사실은 이전 추론 흔적을 전부 제거하는 것이 항상 최선은 아닐 수 있음을 시사합니다.
결과를 과도하게 일반화하면 안 되는 이유
다만 이 관찰을 “모든 에이전트는 모든 생각을 계속 보존해야 한다”는 결론으로 읽는 것은 위험합니다. 검증 가능한 합성 시뮬레이션 환경, 특정 모델, 특정 훈련 설정, 특정 벤치마크에서 관찰된 경향이기 때문입니다. 여기서 얻을 수 있는 더 신중한 해석은, 다중 턴 에이전트의 성능이 모델 자체의 능력뿐 아니라 추론 흔적을 다루는 방식에도 영향을 받는다는 것입니다.
실무적으로는 세 가지 긴장이 생깁니다.
첫째, 성능과 비용의 긴장입니다. 이전 추론을 많이 남기면 장기 작업의 연속성은 좋아질 수 있지만, 컨텍스트 사용량은 증가합니다. 반대로 과감히 줄이면 비용은 낮아질 수 있으나, 에이전트가 이미 한 판단을 반복하거나 중요한 제약을 잊을 수 있습니다.
둘째, 정보와 잡음의 긴장입니다. 모든 사고 과정이 다음 턴에 유용한 것은 아닙니다. 도구 호출 결과의 의미, 확인된 조건, 배제된 선택지처럼 재사용 가치가 높은 정보가 있는 반면, 순간적인 시행착오나 장황한 설명은 다음 판단을 흐릴 수 있습니다.
셋째, 균등한 추론과 적응적 추론의 긴장입니다. 쉬운 턴에서는 짧은 상태 업데이트만으로 충분할 수 있고, 어려운 턴에서는 더 긴 추론과 계획 갱신이 필요할 수 있습니다. 에이전트 설계의 목표는 매번 많이 생각하게 만드는 것이 아니라, 필요한 순간에 필요한 만큼의 추론 상태를 남기는 방향이어야 합니다.
AutoForge가 던지는 실무적 질문
AutoForge를 에이전트 설계 관점에서 보면, 핵심은 “추론 흔적의 보존 여부”가 아니라 “작업 상태의 표현 방식”입니다. 다음 턴에 실제로 도움이 되는 정보는 대체로 현재 목표, 하위 목표, 관찰 결과, 제약조건, 실패한 시도, 남은 선택지, 종료 조건 같은 요소입니다. 이런 정보가 정리된 형태로 이어진다면 에이전트는 장기 작업에서 더 일관된 결정을 내릴 가능성이 있습니다.
반대로 이전 턴의 모든 CoT를 그대로 누적하는 방식은 실용적 한계가 있습니다. 비용이 커질 뿐 아니라, 모델이 오래된 추론에 과도하게 끌려갈 가능성도 배제하기 어렵습니다. 따라서 앞으로의 에이전트 시스템은 원문 추론을 그대로 보존하는 방식과 완전히 지우는 방식 사이에서 더 세밀한 중간 지대를 찾아야 합니다.
예를 들어 중요한 것은 다음과 같은 질문입니다.
어떤 턴에서 긴 추론이 필요한가?
어떤 추론 흔적은 다음 턴에 남겨야 하는가?
어떤 정보는 요약하거나 구조화해도 충분한가?
도구 관찰과 모델의 추론을 어떻게 구분해 저장할 것인가?
강화학습 과정에서 추론 보존 전략이 실제 행동 품질에 어떤 영향을 주는가?
이 질문들은 단순한 프롬프트 엔지니어링을 넘어섭니다. 다중 턴 에이전트를 운영 가능한 시스템으로 만들기 위한 메모리, 컨텍스트 관리, 학습 설계의 문제입니다.
앞으로 봐야 할 것
AutoForge 관련 결과는 LLM 에이전트 연구에서 중요한 방향을 보여줍니다. 에이전트의 성능은 더 큰 모델이나 더 많은 도구만으로 결정되지 않습니다. 이전 판단의 흔적을 어떻게 남기고, 어떤 형태로 재사용하며, 언제 줄일지를 정하는 방식도 핵심 설계 변수가 됩니다.
앞으로 확인해야 할 지점은 명확합니다. interleaved thinking의 효과가 다양한 모델과 환경에서도 유지되는지, 비용 증가를 감수할 만큼 성능 이득이 안정적인지, 전체 CoT 보존이 아닌 구조화된 상태 보존으로도 비슷한 효과를 낼 수 있는지입니다. 또한 TauBench와 VitaBench 같은 벤치마크 결과가 실제 서비스형 에이전트의 장기 작업에서도 같은 의미를 갖는지도 계속 검증되어야 합니다.
결국 AutoForge가 던지는 질문은 하나로 요약됩니다. 에이전트에게 필요한 것은 단순히 더 긴 생각이 아니라, 다음 행동에 도움이 되는 기억을 선별해 이어가는 능력입니다.
참고
1Adaptive Latent Agentic Reasoning
2AutoForge Finds Retaining Reasoning Traces Improves Multi-Turn Agent Performance
3AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.