LLM 사전학습에서 "덜 줄이는 학습률"이 중요한 이유

LLM 사전학습에서 학습률 감소는 학습이 진행될수록 파라미터 업데이트 폭을 줄이는 전략입니다. 초반에는 큰 보폭으로 빠르게 학습하고, 후반에는 작은 보폭으로 안정적으로 수렴하도록 돕습니다.

하지만 최근 논의의 초점은 조금 달라졌습니다. 학습률을 낮추는 것 자체가 문제가 아니라, 너무 많이 또는 너무 일찍 낮추면 이후 단계의 성능을 해칠 수 있다는 점입니다. Microsoft AI 보고서도 사전학습 중 과도한 학습률 감소가 RL 이후 성능을 낮출 수 있다고 언급했습니다.¹

학습률 감소는 후반부 손실만의 문제가 아니다

LLM 지속 사전학습 성능은 학습률과 배치 크기 같은 하이퍼파라미터 설정에 크게 좌우됩니다.² 실무에서는 이를 휴리스틱이나 그리드 탐색으로 정하는 경우가 많지만, 이런 방식은 비용이 크고 학습 불안정을 만들 수 있습니다.²

따라서 학습률 스케줄은 단순히 “마지막 검증 손실을 조금 더 낮추는 튜닝값”으로 보기 어렵습니다. 사전학습이 끝난 뒤 모델은 SFT, RL, 양자화 같은 후속 단계를 거칩니다. 이때 후반부 사전학습에서 모델이 얼마나 유연하게 신호를 받아들였는지가 이후 성능에 영향을 줄 수 있습니다.

핵심 질문은 이것입니다.

학습 후반에 모델을 안정화하는 것과, 이후 학습을 위한 적응 여지를 남기는 것 사이에서 학습률을 어디까지 낮춰야 하는가?

너무 강한 감속은 중요한 신호를 약하게 만든다

LLM 학습과 미세조정에서는 워밍업, 피크 학습률, 감소 방식, 재시작 설정 등 다양한 스케줄 조정이 사용됩니다.³ EMNLP 2024 연구가 다룬 SkipLR처럼, 학습 중 미리 정한 시점에 학습률을 전환하는 방식도 이런 맥락에서 이해할 수 있습니다.³

이 논의가 중요한 이유는 후반부 학습률이 작아질수록 새 데이터나 고품질 데이터의 영향도 함께 줄어들 수 있기 때문입니다. 커리큘럼 기반 사전학습 연구는 좋은 데이터를 뒤쪽에 배치하더라도 표준적인 학습률 감소가 강하면 그 효과가 약해질 수 있다고 보고했습니다.⁴ 이 연구는 더 완만한 감소나 마지막 체크포인트 평균을 대안으로 제시했고, 벤치마크 평균 점수가 1.64% 개선됐다고 설명했습니다.⁴

즉, 후반부 학습률을 낮추는 일은 안정적인 수렴에는 도움이 될 수 있지만, 모델이 마지막에 들어오는 중요한 신호를 충분히 반영하지 못하게 만들 수도 있습니다.

실무 관점: “줄일지 말지”보다 “얼마나 줄일지”가 중요하다

이 논의의 결론은 학습률 감소를 없애야 한다는 뜻이 아닙니다. 더 현실적인 판단 기준은 다음에 가깝습니다.

• 후속 단계가 SFT나 RL까지 이어지는가?

• 후반부 데이터의 품질이나 목적이 앞부분과 다른가?

• 최종 검증 손실뿐 아니라 후속 평가 성능까지 확인하고 있는가?

• 학습률 감소 폭과 감소 기간을 별도 실험 변수로 보고 있는가?

특히 사전학습을 전체 파이프라인의 시작점으로 본다면, 마지막 손실을 낮추는 것만으로 충분하지 않습니다. RL 이후 성능, SFT 이후 평가, 양자화 후 성능처럼 실제 사용 단계에 가까운 지표를 함께 봐야 합니다.

감이 아니라 예측 가능한 탐색으로 접근하기

좋은 소식은 학습률과 배치 크기 같은 하이퍼파라미터 선택을 점점 더 체계적으로 다룰 수 있다는 점입니다. arXiv:2606.05610은 지속 사전학습에서 최적 하이퍼파라미터가 안정적이고 예측 가능한 스케일링 법칙을 따른다고 보고했습니다.²

이 접근은 작은 프록시 모델을 먼저 학습해 계산 예산을 최적 하이퍼파라미터에 매핑하는 함수를 추정합니다. 또한 초기 체크포인트의 검증 손실을 사용해 동일 손실에 도달하는 데 필요한 등가 사전학습 계산량을 추정합니다.² 저자들은 이 프레임워크가 하이퍼파라미터 탐색 오버헤드를 최대 90% 줄였고, 특정 모델 구조에 묶이지 않는 모델 불가지론적 방식이라고 설명합니다.²

이는 실무적으로 중요한 방향을 제시합니다. 학습률 감소를 고정된 관습으로 두기보다, 계산 예산·모델 상태·후속 학습 목적에 맞춰 예측하고 조정해야 한다는 것입니다.

정리

LLM 사전학습에서 학습률 감소는 여전히 유용한 도구입니다. 다만 과도한 감소는 후반부 데이터의 효과를 약화시키고, SFT나 RL 같은 후속 단계의 성능 여지를 줄일 수 있습니다.

따라서 실무에서 중요한 질문은 “학습률을 줄일 것인가?”가 아니라 “얼마나, 언제, 어떤 목적에 맞춰 줄일 것인가?”입니다. 더 완만한 감소, 체크포인트 평균, 예측 기반 하이퍼파라미터 선택은 이 질문에 답하기 위한 현실적인 선택지입니다.

참고

¹Microsoft Report Shows Less LR Decay Boosts LLM Post-RL Performance

²Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

³Hop, skip, jump to Convergence: Dynamics of Learning Rate Transitions for Improved Training of Large Language Models

⁴How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining