성능이 정체됐을 때 가장 비싼 실수는 "일단 더 크게"입니다. 파라미터를 늘릴지, 토큰을 더 모을지, 같은 모델을 더 오래 학습시킬지 판단하지 못한 채 예산을 태우면, 스케일링은 전략이 아니라 비싼 미루기가 됩니다.
최근 MIT 연구를 다룬 보도는 왜 언어모델의 스케일링 법칙이 그렇게 안정적으로 관측되는지에 새 설명을 제시했습니다.1 중요한 건 이 설명 자체보다, 스케일링 법칙을 이제 연구자용 그래프가 아니라 실무자의 배분 도구로 읽어야 한다는 점입니다. 이미 2020년 이후 연구들은 모델 크기, 데이터 크기, 학습 연산량 사이에 꽤 예측 가능한 관계가 있다는 걸 보여줬고,2 2025년 연구는 그 "왜"를 내부 표현의 중첩(superposition) 관점에서 해석하려고 합니다.3
스케일링은 잘 맞지만, 늘 정답은 아니다
확인된 사실부터 보죠. 언어모델의 손실은 모델 크기, 데이터셋 크기, 학습 compute가 커질수록 매끈한 power law 형태로 감소하는 경향이 반복 관측됐습니다.2 이건 "조금 키우면 얼마나 좋아질지"를 대략 예측할 수 있다는 뜻입니다.
하지만 여기서 실무적으로 더 중요한 사실은 따로 있습니다. 같은 예산이라면 아무 변수나 키우는 게 아니라, 병목이 걸린 변수를 찾아야 한다는 점입니다. 데이터가 부족한데 모델만 키우면 과적합이나 수익 체감이 빨리 오고, 반대로 모델 용량이 작은데 토큰만 계속 늘려도 개선 폭이 둔해집니다.4
즉 질문은 "스케일링 법칙이 맞나?"가 아니라 "지금 우리 프로젝트의 병목이 파라미터, 토큰, 학습 시간 중 어디인가?"여야 합니다. 이 관점으로 바꾸면 스케일링 법칙은 첨단 연구의 상징이 아니라, 낭비를 줄이는 의사결정 규칙이 됩니다.
다음 1달러를 어디에 쓸지 정하는 세 가지 질문
실무에서는 복잡한 식보다 간단한 판별이 더 유용합니다.
첫째, 학습 곡선이 아직 매끈하게 내려가는데 검증 성능도 같이 좋아진다면, 더 긴 학습이나 더 많은 compute가 먹힐 가능성이 있습니다. 반대로 학습 손실은 내려가는데 검증 개선이 약하면 데이터 다양성이나 품질 문제가 의심됩니다.
둘째, 작은 데이터에서 큰 모델이 빠르게 좋아지다 멈춘다면 모델이 아니라 데이터가 병목일 수 있습니다. 2020년 연구는 큰 모델이 더 샘플 효율적이어서 적은 데이터로도 좋은 성능을 내지만, 그렇다고 데이터 제약이 사라지는 건 아니라고 보여줬습니다.2
셋째, 데이터는 많은데 특정 도메인 성능이 안 오른다면 "더 많은 데이터"보다 "더 맞는 데이터"가 필요할 수 있습니다. 위키피디아 정리나 후속 해설들이 공통으로 짚는 부분도 이것입니다. 특히 미세조정에서는 소량의 고품질 데이터가 대량의 평균적 데이터보다 나을 수 있습니다.4
실무적으로 바꾸면 이렇습니다. 프리트레인에 가깝다면 파라미터-토큰-학습량의 균형을 봐야 하고, 파인튜닝에 가깝다면 총량보다 데이터 설계가 더 중요해집니다.
2025년의 역설: 더 큰 모델보다 더 좋은 데이터가 이길 때
MIT 연구가 시사하는 포인트는 흥미롭습니다. 모델은 제한된 차원 안에 더 많은 특징을 겹쳐 표현하는데, 이런 중첩이 강할수록 손실이 모델 차원에 따라 꽤 안정적으로 줄어드는 경향이 나온다는 설명입니다.3 해석의 여지는 있지만, 적어도 "왜 스케일링이 이렇게 꾸준히 작동하나"에 한 발 더 다가간 셈입니다.
다만 이것을 "그러니 계속 키우면 된다"로 읽으면 곤란합니다. 그 연구도 결국 scaling이 언제 깨질지 묻고 있습니다.3 고품질 공개 데이터의 한계, 중복 토큰 문제, 도메인 특화 업무의 좁은 분포를 생각하면, 많은 팀에게 다음 승부수는 초거대화보다 데이터 큐레이션, 합성 데이터 필터링, 검색 결합(RAG), 또는 더 작은 모델의 정교한 튜닝일 가능성이 큽니다.
프론티어 랩의 법칙을 그대로 복제하는 건 위험합니다. 그들은 대규모 사전학습의 경제성을 갖지만, 대부분의 스타트업과 제품팀은 특정 업무 정확도와 운영비를 함께 봐야 합니다. 여기서 스케일링 법칙은 "더 크게"의 명분이 아니라 "어디까지가 최적점인가"를 묻는 브레이크 역할을 해야 합니다.
연구팀 없이도 쓸 수 있는 스케일링 체크리스트
큰 결정을 내리기 전, 이것만 확인해도 낭비를 꽤 줄일 수 있습니다.
검증 성능이 모델 크기 증가에 따라 계속 매끈하게 좋아지는가. 아니면 이미 평평해졌는가.
같은 예산으로 파라미터를 늘렸을 때와 데이터 품질을 높였을 때, 어느 쪽이 더 큰 개선을 주는가.
학습을 더 길게 가져갈수록 일반화가 좋아지는가. 아니면 훈련 손실만 줄고 있는가.
우리 문제는 범용 지식 부족인가, 도메인 지식 부족인가, 검색 가능성 문제인가.
이 질문에 답하지 못한 채 GPU부터 늘리는 팀이라면, 아직 스케일링할 준비가 안 된 겁니다.
지금 이 주제를 가장 진지하게 봐야 하는 사람은 모델을 직접 훈련하는 연구자만이 아닙니다. 작은 모델을 파인튜닝하는 팀, 도메인 특화 AI를 만드는 스타트업, 그리고 다음 분기 GPU 예산을 승인해야 하는 리더입니다. 이들에게 스케일링 법칙은 물리 법칙이 아니라 예산 배분 규칙에 가깝습니다. 핵심은 간단합니다. 더 크게 만들기 전에, 무엇이 부족한지부터 맞히는 것.
참고
1MIT study explains why scaling language models works so reliably
2[2001.08361] Scaling Laws for Neural Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.