Min Li와 Haoxiang Wang이 modded-nanogpt에서 Attention을 Parallax로 교체하고 SOAP-H 옵티마이저를 사용해 2880스텝 결과를 냈다.1 겉으로는 또 하나의 벤치마크 기록처럼 보이지만, 이 사례의 핵심은 숫자 하나가 아니다. 작은 GPT 학습에서 아키텍처와 옵티마이저의 조합이 얼마나 큰 차이를 만들 수 있는가를 보여준다는 점이다.
이 벤치마크가 재는 것
nanoGPT speedrun은 Keller Jordan이 운영하는 커뮤니티 벤치마크다. 대상은 124M 파라미터 규모의 작은 GPT이며, 정해진 검증 손실에 도달하기까지 필요한 학습 효율을 비교한다.2
특히 Track 3는 모델, 데이터, 아키텍처를 고정한 상태에서 옵티마이저와 관련 하이퍼파라미터만 바꿀 수 있는 트랙이다. 변경 가능한 항목에는 초기화, 학습률, 스케줄, weight decay 등이 포함된다. 이 트랙의 목표는 wallclock 시간이 아니라 목표 검증 손실까지 필요한 스텝 수를 줄이는 것이다.2
따라서 이 벤치마크를 읽을 때는 “얼마나 빨리 실행됐는가”보다 “같은 목표 손실에 몇 스텝 만에 도달했는가”가 우선적인 판단 기준이 된다.
이번 기록에서 달라진 점
이번 결과가 흥미로운 이유는 SOAP-H라는 옵티마이저만이 아니라, Attention을 Parallax로 교체했다는 점에 있다.1 즉 단순히 기존 구조 위에서 학습률이나 스케줄을 더 잘 조정한 사례라기보다, 주의 메커니즘과 옵티마이저를 함께 바꾼 실험으로 보는 편이 자연스럽다.
이 구분은 중요하다. 옵티마이저 성능은 아키텍처와 분리해서 평가하기 어렵다. 어떤 옵티마이저가 한 구조에서는 좋은 결과를 내더라도, 다른 구조에서는 같은 이점을 보장하지 않는다. 반대로 특정 아키텍처가 특정 옵티마이저와 결합될 때 더 적은 스텝으로 목표 손실에 도달할 수도 있다.
그래서 이번 2880스텝 기록은 “SOAP-H가 좋다” 또는 “Parallax가 좋다”로 단순화하기보다, Parallax Attention 대체 구조와 SOAP-H 조합이 modded-nanogpt 설정에서 강한 결과를 냈다고 해석하는 것이 더 정확하다.
기록을 볼 때 확인할 기준
modded-nanogpt는 작은 모델을 대상으로 하지만, 학습 효율 실험을 빠르게 압축해 볼 수 있는 장점이 있다. 공식 저장소도 8개 H100에서 FineWeb 검증 손실 3.28에 도달하는 훈련 알고리즘을 계속 개선해 왔고, 별도 최적화 트랙에서는 고정 조건에서 스텝 수를 줄이는 방향을 다룬다.3
이번 기록을 평가할 때는 다음 세 가지를 나눠 보는 것이 실용적이다.
스텝 수 개선
목표 검증 손실에 도달하는 데 필요한 스텝이 실제로 줄었는가.개선의 원인
향상이 옵티마이저에서 온 것인지, Attention 대체 구조에서 온 것인지, 또는 둘의 상호작용에서 온 것인지 구분해야 한다.이전 가능성
이 조합이 다른 튜닝 스택이나 더 큰 모델, 다른 데이터 조건에서도 안정적으로 작동할지는 별개의 문제다.
결론
이번 modded-nanogpt 기록은 작은 GPT 학습에서 프런티어가 어디로 이동하고 있는지 보여준다. 경쟁은 더 이상 학습률과 스케줄을 세밀하게 조정하는 데만 머물지 않는다. Attention 대체 구조와 옵티마이저를 함께 설계하고, 그 조합이 목표 손실까지의 스텝 수를 얼마나 줄이는지 검증하는 방향으로 확장되고 있다.
실무적으로 가져갈 교훈도 분명하다. 벤치마크 기록을 볼 때는 숫자만 보지 말고, 그 숫자가 나온 조건을 함께 봐야 한다. 특히 아키텍처가 바뀐 결과라면, 옵티마이저 단독 성과로 해석하지 않는 것이 중요하다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.