AI 생성 이미지
AI 코딩 에이전트가 코드를 잘 쓰는지는 이제 덜 중요한 질문이 됐습니다. 더 중요한 질문은 이것입니다. 에이전트가 스스로 연구 아이디어를 만들고, 실험하고, 성능을 끌어올릴 수 있는가?
NanoGPT-Bench는 이 질문을 측정하려는 벤치마크입니다. GPT-2 스타일 모델의 학습 시간을 줄이는 경쟁인 NanoGPT Speedrun을 기반으로, 에이전트가 과거 인간 연구자들의 진전을 얼마나 재현하거나 따라잡는지 평가합니다.1
핵심은 단순 코딩 능력이 아닙니다. NanoGPT-Bench가 보려는 것은 AI 에이전트의 자율 연구 능력입니다.
NanoGPT-Bench는 무엇을 다르게 보나
NanoGPT-Bench에서 에이전트는 사람의 개입 없이 완전히 자율적으로 작업합니다. 인터넷 접근도 차단됩니다.1 즉 검색으로 답을 찾거나 외부 지식을 즉석에서 끌어오는 방식이 아니라, 주어진 코드와 실험 환경 안에서 개선점을 찾아야 합니다.
검증 절차도 엄격합니다. 제출 명령은 LLM 심사기로 규칙 준수 여부를 확인하고, 후보 코드를 10회 다시 측정해 통계적으로 유의한 속도 향상인지 확인합니다.1 일시적인 측정 노이즈나 우연한 개선을 최대한 걸러내려는 설계입니다.
또 하나 중요한 특징은 평가 설정을 고정하지 않는다는 점입니다. NanoGPT-Bench는 시작 인간 기록과 실험 컴퓨트 예산을 매개변수로 둘 수 있습니다.1 시간이 지나면 새로운 기준점으로 평가를 다시 구성할 수 있고, 이는 모델이 이미 본 데이터에 오염되는 가능성을 줄이는 데 도움이 됩니다.
이 구조 덕분에 NanoGPT-Bench는 단순한 리더보드가 아니라, 연구형 에이전트를 평가하기 위한 더 실전적인 실험장에 가깝습니다.
결과는 인상적이지만, 한계도 분명하다
초기 평가에서 각 에이전트에는 512 H100-hour의 컴퓨트 예산이 주어졌습니다. 출발점은 2025년 9월 3일 인간 세계 기록이었고, 평가는 이후 약 5개월 동안의 인간 기록 진전을 기준으로 표준화됐습니다.1
결과는 아직 조심스럽게 해석해야 합니다. Autoresearch 방식 프롬프트를 쓴 Claude Code 변형은 인간 진전의 9.3%를 회복했습니다. Codex GPT-5.4 xhigh는 8.6%, Claude Code는 8.2%였습니다.1
이 수치는 “AI가 연구를 전혀 못 한다”는 뜻은 아닙니다. 오히려 제한된 환경에서 자율적으로 일부 개선을 찾아냈다는 점은 의미가 있습니다. 다만 인간 연구자들이 같은 문제에서 만들어낸 진전과 비교하면, 현재 에이전트의 연구 능력은 아직 제한적입니다.
특히 중요한 차이는 개선의 성격입니다. 에이전트는 주로 하이퍼파라미터 튜닝에 컴퓨트를 사용하는 경향을 보였습니다. 반면 인간 세계 기록의 상당수는 알고리즘 변화에서 나왔습니다. Intology 분석에 따르면 인간 기록은 약 75.8%가 알고리즘 변화를 포함했지만, 에이전트 제출은 대부분 단순 값 조정에 가까웠습니다.2
즉 에이전트는 “이미 정해진 방향 안에서 많이 시도하기”에는 강하지만, “문제 구조를 바꾸는 새로운 방향을 설계하기”에는 아직 약합니다.
실무적으로 어떻게 봐야 하나
NanoGPT-Bench의 가치는 특정 모델 순위를 보여주는 데만 있지 않습니다. 더 중요한 교훈은 연구형 에이전트를 평가할 때 무엇을 봐야 하는지입니다.
첫째, 자율성이 중요합니다. 사람이 중간에 힌트를 주거나 방향을 잡아주면, 그것은 에이전트의 연구 능력이라기보다 인간-AI 협업 능력에 가깝습니다.
둘째, 오염 방지가 필요합니다. 인터넷 접근을 막고, 시작 기록과 컴퓨트 예산을 바꿀 수 있게 한 이유도 여기에 있습니다. 연구 능력을 평가하려면 이미 알려진 답을 재생산하는 능력과 새로운 개선을 찾는 능력을 구분해야 합니다.
셋째, 통계적 검증이 필요합니다. 속도 개선 벤치마크에서는 측정 변동만으로도 성과가 부풀려질 수 있습니다. NanoGPT-Bench가 후보 코드를 반복 측정하는 이유입니다.
넷째, 단순 성능 향상만이 아니라 개선의 종류를 봐야 합니다. 파라미터 조정으로 얻은 개선과 알고리즘 변화로 얻은 개선은 연구적 의미가 다릅니다.
결론: 좋은 자동화 도구와 좋은 연구자는 다르다
NanoGPT-Bench가 보여주는 결론은 단순합니다. 현재 AI 에이전트는 반복 실험, 파라미터 탐색, 작은 개선 조합에는 유용합니다. 하지만 강한 출발점에서 새로운 연구 방향을 만들고, 실패한 아이디어를 버리며, 알고리즘 수준의 변화를 설계하는 능력은 아직 충분하지 않습니다.
따라서 현업에서는 AI 에이전트를 곧바로 “독립 연구원”처럼 쓰기보다, 검증된 가설을 빠르게 실험하는 자동화 장치로 활용하는 편이 현실적입니다. 연구자는 문제 설정과 방향 판단을 맡고, 에이전트는 반복 실험과 탐색 비용을 줄이는 역할을 맡는 식입니다.
NanoGPT-Bench가 던지는 메시지는 명확합니다. 코딩 자동화의 다음 단계는 더 많은 코드를 생성하는 것이 아니라, 좋은 연구 판단을 어떻게 학습시키고 평가할 것인가입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.