NanoGPT Speedrun 기록이 81.8초로 다시 낮아졌다. GitHub 사용자 @Lisennlp가 세운 기록으로, 이전 기록보다 2.6초 빠르다. 기록 단축의 핵심 변화 중 하나로는 MUDD skip connections가 언급된다. 이 방식은 64개 뉴런짜리 MLP로 계수를 만들고, 같은 입력 projection을 최대 14개 계수에 재사용한다.
겉으로 보면 몇 초를 줄이는 속도 경쟁처럼 보이지만, 이 벤치마크의 가치는 조금 더 넓다. 작은 GPT를 정해진 목표까지 학습시키는 과정에서 어떤 구조, 옵티마이저, 하이퍼파라미터, 구현 방식이 실제로 효과가 있는지 압축적으로 드러나기 때문이다.
NanoGPT Speedrun은 무엇을 겨루는가
NanoGPT Speedrun은 작은 GPT 모델을 가능한 효율적으로 학습시키는 커뮤니티 벤치마크다.1 현재 저장소는 124M 규모 GPT를 FineWeb 기준 손실 3.28까지 학습시키는 과정을 다룬다.1
여기서 중요한 점은 “큰 GPU를 얼마나 많이 쓰는가”만의 문제가 아니라는 것이다. 기록은 모델 구조, 데이터 처리, 옵티마이저, 학습률 스케줄, 커널 최적화 같은 요소가 맞물려 나온다. 그래서 1~2초의 단축도 단순한 숫자 이상의 의미를 갖는다. 어떤 학습 레시피가 제한된 조건에서 실제로 더 나은 효율을 내는지 보여주는 신호이기 때문이다.
MUDD skip connection이 주는 힌트
이번 기록에서 언급된 MUDD skip connections는 그런 관점에서 볼 만하다. Skip connection은 중간 표현을 뒤쪽 레이어로 우회 전달해 정보 흐름을 짧게 만들고 학습을 안정시키는 데 쓰인다. MUDD는 이 연결을 더 세밀하게 조절하는 방식으로 이해할 수 있다.
핵심은 계수 생성과 재사용이다. MUDD는 64개 뉴런의 작은 MLP로 계수를 만들고, 동일한 입력 projection을 최대 14개 계수에 재사용한다. 즉, 더 많은 연결과 조절을 도입하면서도 계산 비용이 과도하게 늘지 않도록 설계한 것이다.
NanoGPT Speedrun 같은 환경에서는 이런 절충이 중요하다. 구조를 복잡하게 만들수록 표현력은 좋아질 수 있지만, 계산 비용이 늘면 최종 기록에는 불리하다. 반대로 너무 단순하면 학습 효율을 끌어올리기 어렵다. MUDD의 의미는 “새로운 경로를 추가하되, 비용을 관리하는 방식”에 있다.
Track 3는 속도보다 ‘학습 효율’을 본다
NanoGPT Speedrun을 이해할 때는 벽시계 시간만 보면 부족하다. 특히 Track 3는 모델, 데이터, 아키텍처를 고정하고 옵티마이저와 관련 하이퍼파라미터만 바꾸는 트랙이다.2 조정 가능한 항목에는 초기화, 학습률, 스케줄, weight decay가 포함된다.2
Track 3의 목표는 목표 검증 손실에 도달하는 데 필요한 학습 스텝 수를 최소화하는 것이다.2 월클록 시간 제약은 없다.2 다시 말해, “얼마나 빨리 실행됐는가”보다 “같은 조건에서 몇 스텝 만에 목표 성능에 도달했는가”를 본다.
이 구분은 중요하다. 벽시계 시간 기록은 구현 최적화와 하드웨어 활용 능력을 강하게 반영한다. 반면 Track 3는 옵티마이저와 학습 레시피 자체의 효율을 더 직접적으로 본다. 또한 제출 결과는 시드 해킹을 막기 위해 통계적 노이즈 기준을 통과해야 한다.2 운 좋게 한 번 잘 나온 결과가 아니라, 반복 가능한 개선인지 확인하려는 장치다.
자동화된 탐색은 어디까지 왔나
Prime Intellect의 실험은 이 흐름을 더 잘 보여준다. Codex와 Claude Code는 약 1만 회의 NanoGPT Speedrun 관련 실행을 수행했고, 약 1만4000 H200 GPU 시간을 사용했다.2
이 실험의 포인트는 AI 에이전트가 학습 레시피 탐색에 얼마나 기여할 수 있는지다. 결과적으로 에이전트는 튜닝, 조합 탐색, 반복 실행에는 강점을 보였다. 하지만 완전히 새로운 아이디어를 스스로 만들어내는 데는 아직 한계가 있다는 평가도 함께 나온다.2
이는 실무적으로도 익숙한 결론이다. 자동화는 탐색 범위를 넓히고 반복 비용을 낮추는 데 유용하다. 그러나 어떤 가설을 세울지, 어떤 제약을 우선할지, 결과를 어떻게 해석할지는 여전히 사람의 판단이 중요하다.
실무자가 봐야 할 것은 “몇 초”보다 “어떤 조건인가”다
81.8초 기록은 인상적이다. 하지만 더 중요한 질문은 따로 있다.
어떤 조건에서 빨라졌는가?
구조 변경이 계산 비용을 얼마나 늘렸는가?
같은 개선이 다른 설정에서도 반복되는가?
벽시계 시간 개선인가, 학습 스텝 효율 개선인가?
통계적으로 재현 가능한 결과인가?
NanoGPT Speedrun의 가치는 바로 이 질문들을 강제로 던지게 만든다는 데 있다. 작은 모델을 대상으로 하지만, 여기서 드러나는 원리는 더 큰 학습 시스템에도 연결된다. 빠른 학습은 하나의 기법으로 만들어지지 않는다. 구조, 옵티마이저, 하이퍼파라미터, 구현, 검증 방식이 함께 맞아야 한다.
따라서 이번 81.8초 기록의 의미도 단순히 “더 빨라졌다”가 아니다. 제한된 조건에서 효율을 끌어올리기 위해 어떤 설계가 필요한지 보여주는 사례다. 새 기법을 볼 때는 기록 숫자만 보지 말고, 그 숫자가 나온 제약과 재현성까지 함께 봐야 한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.