ScaleAutoResearch가 보여준 것: 옵티마이저 연구도 자동화된다

ScaleAutoResearch 파이프라인이 NanoGPT Speedrun optimizer track에서 비보간 SOTA를 2875스텝에서 2755스텝으로 낮췄습니다.¹ 줄어든 것은 120스텝뿐이지만, 의미는 작지 않습니다. 모델과 데이터가 고정된 조건에서 목표 검증 손실에 더 빨리 도달했다는 뜻이기 때문입니다.

이 결과를 단순한 기록 경신으로만 보면 핵심을 놓치기 쉽습니다. 더 중요한 질문은 이것입니다. AI 에이전트 기반 연구 자동화가 어떤 종류의 연구 문제에서 실제로 효과를 내는가?

왜 NanoGPT Speedrun인가

nanoGPT speedrun은 1억2400만 파라미터 규모의 작은 GPT를 얼마나 효율적으로 학습시키는지 겨루는 커뮤니티 벤치마크입니다.² 그중 Track 3 optimization은 모델, 데이터, 아키텍처를 고정하고 옵티마이저와 관련 하이퍼파라미터만 바꿀 수 있는 트랙입니다.²

이 제한이 중요합니다. 성능 개선의 원인을 모델 크기나 데이터 변경으로 돌릴 수 없기 때문입니다. Track 3에서 바꿀 수 있는 항목은 초기화, 학습률, 스케줄, 가중치 감쇠 등 옵티마이저 주변 요소에 집중됩니다.² 목표도 명확합니다. modded-nanogpt의 track_3_optimization 벤치마크에서는 검증 손실 3.28에 도달하는 학습 스텝 수를 최소화합니다.³

또 하나의 장점은 평가 방식입니다. Track 3에는 벽시계 시간 제약이 없고, 시드 운에 의존한 결과를 막기 위해 통계적 노이즈 플로어를 통과해야 합니다.² 따라서 이 벤치마크는 “아이디어가 실제로 학습 효율을 높였는가”를 비교적 깔끔하게 판단할 수 있는 실험장입니다.

ScaleAutoResearch가 한 일

이번 실험에는 Claude Code와 Codex가 사용됐고, 약 300개의 실험이 약 5,000 A40 시간으로 수행됐습니다.¹ 최종 개선에는 non-gain aux β₂=0.997, hidden 전체 SOAP freq=1, LR-horizon 및 momentum 튜닝 등이 포함됐습니다.¹

여기서 주목할 점은 “AI가 완전히 새로운 이론을 발명했다”가 아닙니다. 오히려 ScaleAutoResearch의 가치는 반복 가능한 연구 과정을 자동화한 데 있습니다. 가설을 만들고, 코드를 수정하고, 실험을 실행하고, 로그를 비교하고, 실패한 설정을 버리는 과정을 빠르게 반복한 것입니다.

이런 방식은 Track 3와 잘 맞습니다. 탐색 공간이 완전히 열린 문제가 아니라, 옵티마이저와 하이퍼파라미터라는 비교적 명확한 범위 안에서 개선을 찾아야 하기 때문입니다. Prime Intellect의 관련 실험에서도 에이전트는 옵티마이저 탐색과 하이퍼파라미터 스윕에는 강했지만, 완전히 새로운 아이디어 생성에는 한계가 있었다고 보고했습니다.²

기록보다 중요한 것은 검증 가능한 탐색이다

기준 Muon 옵티마이저는 목표 검증 손실 3.28에 3500스텝으로 도달합니다.³ Prime Intellect 실험 시작 시점의 최고 공개 기록은 3225스텝이었습니다.³ 이 맥락에서 2875스텝에서 2755스텝으로의 개선은 이미 높은 수준까지 최적화된 영역에서 추가 효율을 찾아낸 사례입니다.

하지만 자동 연구의 성과를 볼 때는 최종 숫자만 보면 안 됩니다. 더 중요한 것은 그 숫자가 어떻게 나왔는지입니다. 좋은 벤치마크, 엄격한 검증, 충분한 로그, 재현 가능한 설정이 없다면 자동화는 연구가 아니라 빠른 시행착오에 그칠 수 있습니다.

ScaleAutoResearch가 보여준 실용적 가치는 여기에 있습니다. 사람이 모든 실험을 직접 설계하고 실행하지 않아도, 잘 정의된 목표와 평가 기준이 있다면 에이전트가 탐색 비용을 크게 낮출 수 있습니다. 특히 옵티마이저 튜닝처럼 반복 실험이 많고 결과가 수치로 명확히 비교되는 영역에서는 효과가 더 분명합니다.

연구자가 배울 점

이번 사례의 결론은 “AI가 연구자를 대체한다”가 아닙니다. 더 현실적인 결론은 AI 에이전트가 측정 가능한 연구 문제에서 반복 실험 노동을 줄이고, 연구자가 더 좋은 질문과 검증에 집중하게 만든다는 것입니다.

따라서 자동 연구 파이프라인을 적용하려면 먼저 세 가지가 필요합니다.

1. 개선 여부를 명확히 판단할 수 있는 벤치마크

2. 운이나 과적합을 걸러낼 검증 절차

3. 실험 설정과 로그를 추적할 수 있는 재현성

이 조건이 갖춰지면 ScaleAutoResearch 같은 파이프라인은 단순한 자동 실행 도구를 넘어, 연구 탐색의 생산성을 높이는 실질적인 도구가 될 수 있습니다. 핵심은 에이전트에게 연구 전체를 맡기는 것이 아니라, 사람이 정의한 좋은 문제 안에서 에이전트가 빠르게 탐색하도록 만드는 것입니다.

¹Automated Pipeline Cuts NanoGPT Training Steps From 2875 to 2755 · Digg

²Autonomous AI research for nanogpt speedrun

³GitHub - PrimeIntellect-ai/experiments-autonomous-speedrunning