LLM 지속 학습이 중요한 이유는 간단하다. 모델은 배포된 순간에도 세상이 멈추지 않기 때문이다. 지식, 업무 규칙, 사용자 요구, 안전 기준은 계속 바뀐다. 따라서 LLM은 새 정보를 받아들이면서도 기존 능력을 잃지 않아야 한다.
Andrew Lampinen이 지속 학습의 실제 문제를 다룬 글을 게시한 것도 이 맥락에서 주목할 만하다. 해당 글은 언어 모델이 지속 학습 분야에 가져온 변화와 여전히 남아 있는 과제를 다룬 것으로 소개됐다. 핵심 질문은 명확하다. LLM은 어떻게 더 배우면서도 덜 잊을 수 있는가?
지속 학습의 본질: 적응성과 안정성의 균형
지속 학습은 모델이 새 과제와 지식을 순차적으로 배우면서 기존 능력을 유지하게 만드는 접근이다. 문제는 학습 자체가 위험이 될 수 있다는 점이다.
LLM을 새 과제에 맞추는 가장 직접적인 방법은 파라미터를 업데이트하는 것이다. 하지만 이 방식은 과제별 정보를 모델 가중치에 직접 흡수하게 만든다. 그 결과 새 과제에는 좋아지지만, 이전에 잘하던 능력을 잃는 치명적 망각이 발생할 수 있다.1
반대로 인컨텍스트 학습은 모델 파라미터를 고정한 채 프롬프트나 컨텍스트를 통해 빠르게 적응한다. 비용이 낮고 적용도 빠르다. 하지만 일반적으로 파라미터 업데이트가 제공하는 성능 향상에는 도달하기 어렵다.1
따라서 지속 학습의 쟁점은 “가중치를 바꿀 것인가, 프롬프트로 해결할 것인가”가 아니다. 더 중요한 판단 기준은 다음 두 가지다.
새 과제에 충분히 빠르고 잘 적응하는가
기존 능력과 모델의 안정성을 얼마나 유지하는가
Fast-Slow 학습: 모든 것을 가중치에 넣지 않는 방식
최근 제안된 Fast-Slow 학습은 이 균형을 두 종류의 학습 속도로 나눈다. 모델 파라미터는 느린 가중치로 두고, 최적화된 컨텍스트는 빠른 가중치처럼 사용한다.1
이 구조에서 빠른 가중치는 텍스트 피드백으로부터 과제별 정보를 학습한다. 반면 느린 가중치는 베이스 모델에서 크게 벗어나지 않도록 유지된다.1 즉, 새 과제 정보를 모두 모델 내부 파라미터에 밀어 넣지 않고, 일부는 컨텍스트 기반 적응으로 처리한다.
이 접근의 장점은 실험 결과에서도 나타난다. Fast-Slow Training은 추론 과제에서 느린 학습만 사용하는 RL 대비 최대 3배 높은 샘플 효율을 보였다. 또한 베이스 LLM과의 KL 발산은 최대 70% 낮았다.1
KL 발산이 낮다는 것은 모델이 원래 베이스 모델에서 덜 벗어났다는 뜻이다. 이는 모델 드리프트를 줄이고, 결과적으로 치명적 망각을 완화하는 데 도움이 된다.1 또한 Fast-Slow Training 모델은 한 과제를 학습한 뒤 다음 과제에 적응할 때도 파라미터 전용 학습 모델보다 더 효과적인 모습을 보였다.1
지속 학습을 평가할 때 봐야 할 것
LLM 지속 학습을 평가할 때 새 과제 성능만 보면 부족하다. 실제로 중요한 것은 업데이트 이후의 전체 상태다.
특히 다음 기준을 함께 봐야 한다.
새 과제 성능
업데이트 후 새 요구사항을 얼마나 잘 수행하는가.이전 능력 유지
새 학습이 기존 지식과 능력을 얼마나 훼손하지 않는가.모델 드리프트
베이스 모델에서 얼마나 크게 벗어났는가.다음 과제 적응성
한 번 업데이트한 뒤에도 이후 과제에 계속 잘 적응할 수 있는가.
이 관점에서 Continual Learning Bench처럼 온라인 환경과 변화하는 평가 조건을 고려하는 벤치마크는 실제 서비스의 업데이트 상황을 이해하는 데 참고할 수 있다.2
실무적으로 얻을 수 있는 교훈
LLM을 계속 개선하려는 조직이라면 지속 학습을 단순한 재학습 문제로 보면 안 된다. 업데이트는 성능 향상의 수단이지만, 동시에 망각과 드리프트의 원인이 될 수 있다.
따라서 실무에서는 다음과 같은 원칙이 중요하다.
모든 새 정보를 파라미터에 직접 주입하려 하지 않는다.
빠른 적응이 필요한 정보와 장기적으로 내재화할 정보를 구분한다.
업데이트 후에는 새 과제 성능뿐 아니라 기존 과제 성능도 함께 측정한다.
모델이 베이스라인에서 얼마나 벗어났는지 추적한다.
연속적인 업데이트 이후에도 다음 과제에 적응 가능한지 확인한다.
결론적으로 LLM 지속 학습의 목표는 단순히 “계속 학습하는 모델”을 만드는 것이 아니다. 더 정확히는 업데이트해도 무너지지 않는 모델을 만드는 것이다. 앞으로의 경쟁력은 더 큰 모델 자체보다, 변화 속에서도 성능과 안정성을 유지하는 업데이트 설계에서 나올 가능성이 크다.
1Learning, Fast and Slow: Towards LLMs That Adapt Continually
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.