AutoScientist Challenge: '모델 튜닝 자동화'가 실험대에 올랐다

프런티어 AI를 만드는 일은 대개 큰 연구소의 영역으로 여겨집니다. 데이터 준비, 학습 설정, 평가 반복에 많은 시간과 비용이 들기 때문입니다. Adaption의 AutoScientist Challenge가 주목할 만한 이유는 단순히 5만 달러 상금 때문이 아닙니다. 모델을 특정 목표에 맞게 개선하는 과정을 얼마나 자동화할 수 있는지 공개적으로 검증하려는 시도이기 때문입니다.

AutoScientist가 겨냥하는 병목

AutoScientist는 데이터와 모델 학습 레시피를 함께 자동 최적화하는 시스템입니다.¹ 사용자가 원하는 모델의 목표 행동을 설명하면, AutoScientist는 모델이 그 목표에 가까워질 때까지 데이터와 학습 방식을 반복적으로 조정합니다.¹

여기서 중요한 점은 AutoScientist가 단순한 파인튜닝 실행 도구가 아니라는 것입니다. Adaption은 기존 Adaptive Data가 입력 데이터를 다루는 역할이라면, AutoScientist는 모델 자체를 조정하는 역할이라고 설명합니다.¹ 즉, 데이터 선택과 학습 설정을 따로 다루는 대신 하나의 실험 루프로 묶어 최적화를 시도하는 접근입니다.

Adaption은 이 방식이 프런티어 AI 구축 시간을 몇 달에서 며칠로 줄일 수 있다고 주장합니다.¹ 이 주장이 의미를 가지려면, 속도뿐 아니라 실제 성능 개선이 함께 입증되어야 합니다. 특정 산업, 언어, 업무에 맞춘 모델은 일반 벤치마크 점수보다 목표 행동을 얼마나 잘 수행하는지가 더 중요하기 때문입니다.

TechCrunch도 AutoScientist처럼 특정 작업에 적응하는 시스템은 SWE-Bench나 ARC-AGI 같은 일반 벤치마크만으로 평가하기 어렵다고 짚었습니다.² 결국 핵심 질문은 “얼마나 빨리 학습했는가”가 아니라 “목표한 행동을 얼마나 안정적으로 개선했는가”입니다.

챌린지는 무엇을 검증하나

AutoScientist Challenge는 총 4주 동안 두 개의 연속된 2주 파트로 운영됩니다.¹ 참가자는 한 번 등록한 뒤 Part 1, Part 2 또는 두 파트 모두에 제출할 수 있습니다.¹

• Part 1: 6월 8일부터 7월 5일까지 진행되며, 수상자는 7월 13일 발표됩니다.¹ 카테고리는 금융, 헬스케어, 언어, 법률, 마케팅입니다.¹

• Part 2: 7월 6일부터 8월 3일까지 진행되며, 수상자는 8월 10일 발표됩니다.¹

상금 풀은 5만 달러입니다.¹ 하지만 더 중요한 관전 포인트는 공개 방식입니다. 참가자는 파인튜닝에 사용한 데이터셋과 학습한 가중치를 Hugging Face와 Kaggle에 공개해야 합니다.¹ 따라서 이 챌린지는 단순한 모델 성능 경쟁을 넘어, 자동화된 모델 적응 결과를 커뮤니티가 검증하고 재사용할 수 있는 실험장이 될 수 있습니다.

무엇을 보고 판단해야 하나

이번 챌린지를 볼 때는 세 가지를 확인할 필요가 있습니다.

첫째, AutoScientist가 여러 도메인에서 기준 모델 대비 측정 가능한 개선을 만들어내는지입니다. 한두 개의 인상적인 사례보다 반복 가능한 개선이 중요합니다.

둘째, 개선이 목표 행동과 직접 연결되는지입니다. 특정 업무에 맞춘 모델이라면 범용 점수보다 실제 사용 목적에 맞는 평가가 더 설득력 있습니다.

셋째, 공개된 데이터와 가중치가 재현과 재사용에 충분한지입니다. 결과물이 Hugging Face와 Kaggle에 공개된다면, 커뮤니티는 성능 주장뿐 아니라 학습 과정과 결과를 더 구체적으로 검토할 수 있습니다.

AutoScientist Challenge의 결론은 아직 정해지지 않았습니다. 다만 이 대회가 던지는 질문은 분명합니다. 앞으로 AI 개발의 경쟁력은 더 큰 모델을 확보하는 능력에만 머물지 않고, 원하는 목표에 맞게 모델을 빠르게 적응시키는 능력으로 이동할 수 있을까. AutoScientist Challenge는 그 가능성을 공개 실험대에 올린 사례입니다.

¹AutoScientist Challenge: Bring Frontier AI to the World

²Adaption aims big with AutoScientist, an AI tool that helps models train themselves