전문 모델을 만들다 보면 애매한 지점에 부딪힙니다. 기본 모델은 "거의" 잘합니다. 하지만 마지막 10~20%를 끌어올리려면 데이터 정제, 파인튜닝 설정, 평가셋 설계, 회귀 테스트가 끝없이 반복됩니다. 문제는 모델이 부족한 것인지, 데이터가 나쁜 것인지, 평가 기준이 흔들리는 것인지 분간하기 어렵다는 데 있습니다.
Adaption이 공개한 AutoScientist는 바로 이 반복 루프를 자동화하겠다는 제품입니다. TechCrunch 보도에 따르면 이 도구는 특정 능력을 빠르게 학습시키기 위해 기존 파인튜닝 과정을 자동화하고, 데이터와 모델 훈련 방식을 함께 최적화하는 데 초점을 둡니다.1 중요한 점은 이것을 "AI가 스스로 과학자가 됐다"로 볼지, "훈련 운영의 자동화 도구"로 볼지에 따라 판단이 완전히 달라진다는 것입니다.
먼저 봐야 할 것은 모델이 아니라 병목입니다
Adaption의 설명에 따르면 AutoScientist는 기존 Adaptive Data 위에 올라가 데이터와 훈련 레시피를 함께 조정합니다. 회사는 5천~10만 개 규모 데이터셋, 여러 모델 아키텍처, 8개 버티컬에서 테스트했으며, 인간 연구자가 설정한 훈련 대비 평균 35% 성능 향상과 48%에서 64%로의 win rate 개선을 주장합니다.2
이 수치는 흥미롭지만, 그대로 일반화하면 위험합니다. TechCrunch도 SWE-Bench나 ARC-AGI 같은 범용 벤치마크로 맥락화하기 어렵다고 짚었습니다.1 AutoScientist가 겨냥하는 것은 "모든 능력이 좋아진 모델"이 아니라 "특정 목표에 더 잘 맞춘 모델"에 가깝기 때문입니다.
그래서 도입 전 질문은 하나입니다. 지금 팀의 병목이 정말 파인튜닝 반복인가?
데이터가 부정확하거나 편향되어 있다면 자동화는 잘못된 신호를 더 빠르게 증폭할 수 있습니다. 목표가 "좋은 답변"처럼 모호하면 시스템은 측정 가능한 허술한 지표를 최적화할 가능성이 큽니다. 평가셋이 실제 사용자 작업을 반영하지 못하면 win rate는 올라가도 제품 품질은 그대로일 수 있습니다.
반대로 목표가 분명하고, 데이터가 어느 정도 정리되어 있으며, 매번 하이퍼파라미터와 학습 구성을 손으로 바꾸느라 시간이 새고 있다면 AutoScientist류 도구는 의미 있는 지렛대가 됩니다.
AI팀의 역할은 튜너에서 실험 설계자로 이동한다
파인튜닝은 단순히 버튼을 누르는 작업이 아닙니다. Google Cloud의 파인튜닝 가이드도 데이터 준비, 학습·검증·테스트 분리, 하이퍼파라미터 설정, 평가와 배포 후 모니터링을 핵심 단계로 설명합니다.3 또한 과적합, 치명적 망각, 데이터 부족, 평가 난이도는 여전히 주요 리스크입니다.3
AutoScientist 같은 도구가 바꾸는 것은 이 단계의 존재가 아니라 사람의 위치입니다.
과거에는 엔지니어가 직접 학습률, 배치 크기, 데이터 샘플링, 반복 횟수를 조정했습니다. 자동화 도구가 성숙하면 사람은 더 상위의 질문을 책임져야 합니다. 어떤 행동을 성공으로 볼 것인가. 어떤 실패는 절대 허용하지 않을 것인가. 어떤 데이터는 훈련에 넣지 않을 것인가. 새 모델이 이전에 잘하던 기능을 망가뜨리지 않았는가.
즉 "모델 튜닝 능력"보다 "평가 체계 설계 능력"이 더 중요해집니다. 자동화가 강력할수록, 잘못된 목표를 설정했을 때의 피해도 커집니다.
어디서 먼저 효과가 나고, 어디서 역효과가 날까
AutoScientist가 먼저 맞을 가능성이 큰 곳은 경계가 선명한 업무입니다. 예를 들어 고객지원 답변 분류, 특정 코드베이스에 맞춘 코딩 보조, 법무·의료·금융 문서의 형식화된 요약, 내부 운영 절차를 따르는 에이전트가 있습니다. 이런 영역은 성공 기준을 비교적 명확히 만들 수 있고, 반복 평가도 가능합니다.
또 하나의 현실적 사용처는 비용 절감입니다. 큰 범용 모델을 매번 호출하는 대신, 작은 모델을 특정 작업에 맞게 조정하면 지연 시간과 추론 비용을 낮출 여지가 있습니다. Adaption도 도메인 언어, 구조화 출력, 작은 모델을 통한 비용·지연 최적화를 사용 맥락으로 제시합니다.2
하지만 위험한 경우도 분명합니다. 정답이 모호한 창의적 생성, 안전성이 중요한 고위험 의사결정, 사용자 피드백이 드문 업무, 평가 데이터가 쉽게 오염되는 환경에서는 자동 개선 루프가 "진짜 개선"보다 "벤치마크 공략"을 배울 수 있습니다.
이 지점에서 AutoScientist는 구매 문제가 아니라 거버넌스 문제가 됩니다.
구매 전에 물어야 할 질문들
도입을 검토한다면 데모 성능보다 운영 질문을 먼저 던져야 합니다.
성능 향상은 어떤 평가셋에서 측정됐고, 그 평가셋은 실제 사용자 작업과 얼마나 닮았는가?
훈련 데이터의 출처, 버전, 필터링 기준을 추적할 수 있는가?
새 모델이 기존 기능을 망가뜨리지 않았다는 회귀 테스트가 있는가?
여러 훈련 실행을 비교할 때 비용, 지연 시간, 안전성도 함께 보는가?
평가셋에 과적합하거나 프롬프트·정답 형식을 외우는 것을 어떻게 막는가?
개선된 모델을 롤백하고 이전 버전과 나란히 검증할 수 있는가?
AutoScientist가 흥미로운 이유는 "모델이 스스로 똑똑해진다"는 구호 때문이 아닙니다. 더 많은 팀이 훈련을 전문가의 수작업이 아니라 반복 가능하고 구매 가능한 인프라로 다룰 수 있게 될 가능성 때문입니다.
지금 신경 써야 할 사람은 모든 AI 사용자가 아닙니다. 이미 모델을 제품에 넣었고, 프롬프트만으로는 한계에 부딪혔으며, 파인튜닝 루프를 돌릴 데이터와 평가 기준을 갖춘 팀입니다. 그런 팀에게 AutoScientist는 새 모델보다 더 중요한 질문을 던집니다. "우리는 무엇을 자동화할 준비가 되어 있는가?"
참고
1Adaption aims big with AutoScientist, an AI tool that helps models train themselves
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.