AutoTTS: AI가 '더 잘 생각하는 방법'을 직접 찾게 하다

LLM 성능을 높이는 방법은 모델을 더 크게 만들거나 다시 학습시키는 것만이 아닙니다. 이미 학습된 모델의 가중치는 그대로 두고, 답변을 생성하는 추론 단계에서 더 많은 계산을 쓰는 방법도 있습니다. 이를 테스트 시점 스케일링(Test-Time Scaling, TTS)이라고 부릅니다.¹

TTS의 핵심 질문은 간단합니다. 추가 계산을 어디에, 언제, 얼마나 써야 하는가? 여러 풀이를 동시에 만들 것인지, 한 풀이를 더 깊게 이어갈 것인지, 중간 답을 검사할 것인지, 언제 멈출 것인지가 성능과 비용을 좌우합니다.

기존에는 이런 규칙을 연구자가 직접 설계하고 조정하는 경우가 많았습니다.¹ AutoTTS는 이 접근을 바꿉니다. “좋은 추론 휴리스틱”을 사람이 하나씩 만드는 대신, 좋은 TTS 전략이 자동으로 발견될 수 있는 환경을 설계합니다.

AutoTTS가 바꾸는 관점: 전략 설계에서 환경 설계로

AutoTTS는 TTS를 컨트롤러 합성 문제로 봅니다. 여기서 컨트롤러는 추론 과정 중 다음과 같은 결정을 내립니다.

• 새 풀이 경로를 분기할지

• 기존 경로를 계속 진행할지

• 중간 신호를 확인할지

• 가능성이 낮은 경로를 가지치기할지

• 언제 중단하고 최종 답을 낼지¹

즉, AutoTTS의 관심사는 “어떤 프롬프트를 쓰면 답이 잘 나오나”에 머물지 않습니다. 더 넓게는 추론 예산을 어떻게 배분하면 컴퓨트 대비 성능이 좋아지는가를 다룹니다.

이때 사람의 역할도 달라집니다. 연구자가 직접 “이 조건이면 멈춘다” 같은 규칙을 계속 고치는 대신, 상태·행동·피드백·목표가 정의된 발견 환경을 만듭니다. 그 안에서 코딩 에이전트가 여러 라운드에 걸쳐 컨트롤러 코드를 작성하고 평가하며 더 나은 전략을 찾습니다.²

왜 오프라인 환경이 중요한가

이런 자동 탐색은 자칫 매우 비싸질 수 있습니다. 후보 전략을 하나 평가할 때마다 실제 LLM을 다시 호출해야 한다면, 실험 비용과 시간이 빠르게 늘어납니다.

AutoTTS는 이 문제를 오프라인 재생 환경으로 줄입니다. 먼저 여러 추론 궤적과 중간 프로브 신호를 수집해 저장해 둡니다. 이후 새 컨트롤러를 평가할 때는 LLM을 반복 호출하지 않고, 저장된 경로를 조회해 결과를 재생합니다.¹

이 구조의 장점은 명확합니다.

• 많은 후보 전략을 빠르게 비교할 수 있습니다.

• 동일한 추론 경로 위에서 컨트롤러만 바꿔 평가할 수 있습니다.

• 에이전트가 실패 원인을 더 구체적으로 분석할 수 있습니다.

AutoTTS는 여기에 베타(β) 매개변수화도 도입했습니다. 탐색해야 할 하이퍼파라미터 공간이 지나치게 넓으면 에이전트가 안정적으로 개선 방향을 찾기 어렵습니다. β 매개변수화는 외부에서 조절할 핵심 값을 단순화해 탐색을 더 다루기 쉽게 만듭니다.¹

또한 세밀한 실행 추적 피드백을 제공합니다. 덕분에 에이전트는 단순히 “성능이 낮다”는 결과만 보는 것이 아니라, 어떤 시점의 분기·계속 진행·가지치기·중단 판단이 문제였는지 추적할 수 있습니다.¹

결과보다 더 중요한 것: 최적화 방식의 변화

UMD, UVA, WUSTL, UNC, Google, Meta 연구진이 개발한 AutoTTS에서 Claude Code는 여러 라운드에 걸쳐 새로운 제어 알고리즘을 코드로 작성했습니다.² 이렇게 발견된 알고리즘은 AIME와 HMMT 수학 벤치마크에서 기존 방법보다 컴퓨트 단위당 더 높은 정확도를 보였습니다.¹

보고된 전체 발견 실행 비용은 약 39.9달러, 소요 시간은 160분이었습니다.¹ 숫자 자체도 흥미롭지만, 더 중요한 의미는 따로 있습니다. AutoTTS는 “AI가 우연히 더 좋은 규칙 하나를 찾았다”는 사례라기보다, 사람이 감으로 조정하던 추론 운영 방식을 실험 가능한 환경으로 바꾸는 방법을 보여줍니다.

이 관점은 수학 문제 풀이에만 국한되지 않습니다. 프롬프트 흐름, 에이전트 워크플로우, 도구 사용 순서, 검증 단계처럼 사람이 경험적으로 튜닝하던 영역에서도 비슷한 질문을 던질 수 있습니다.

좋은 규칙을 직접 쓰는 대신, 좋은 규칙이 발견될 수 있는 환경을 만들 수 있는가?

AutoTTS의 실용적 가치는 바로 여기에 있습니다. 당장 모든 서비스에 바로 꽂아 쓰는 제품이라기보다는, 앞으로 LLM 시스템을 최적화할 때 무엇을 설계해야 하는지 보여주는 연구에 가깝습니다.

결론적으로 AutoTTS가 제안하는 방향은 분명합니다. 앞으로의 성능 개선은 개별 휴리스틱을 더 열심히 손보는 일만으로는 부족합니다. 중요한 것은 추론 전략을 탐색하고 평가할 수 있는 환경을 잘 설계하는 것입니다.

¹LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

²AutoTTS Project Page