LLM을 계속 업데이트할 때 어려운 점은 새 지식을 넣는 과정에서 기존 능력이 약해질 수 있다는 것입니다. 새 과제를 학습한 뒤 이전 과제 성능이 떨어지는 현상을 catastrophic forgetting, 즉 파국적 망각이라고 부릅니다.1
이 문제를 줄이는 대표적인 방법은 리플레이입니다. 새 데이터를 학습할 때 이전 과제의 예시도 함께 다시 보여주는 방식입니다. 사람으로 치면 새 내용을 배우면서 예전 내용을 복습하는 셈입니다.
문제는 과거 데이터를 계속 들고 있기 어렵다는 점이다
기존 리플레이는 보통 이전 과제의 예시를 저장해 둔다는 전제를 가집니다. 하지만 실제 서비스 환경에서는 이 전제가 부담이 됩니다. 개인정보, 라이선스, 저장 비용, 데이터 거버넌스 문제가 생길 수 있기 때문입니다.1
여기서 자기 생성 리플레이가 등장합니다. 언어 모델은 스스로 텍스트를 생성할 수 있으므로, 과거 학습 분포와 비슷한 샘플을 직접 만들어 리플레이 데이터로 사용할 수 있습니다.1 즉, 원본 과거 데이터를 그대로 보관하지 않고도 기존 지식을 다시 활성화하는 신호를 만들 수 있습니다.
자기 생성 리플레이는 “가짜 데이터”보다 “복습 신호”에 가깝다
자기 생성 리플레이의 핵심은 단순히 합성 데이터를 추가하는 데 있지 않습니다. 모델이 이미 학습한 분포에서 샘플을 만들고, 그 샘플을 새 학습 과정에 섞어 기존 표현이 무너지는 것을 줄이는 데 있습니다.
연구에서는 자기 생성 샘플을 리플레이 데이터로 사용했을 때 망각을 거의 제거하는 효과가 관찰됐습니다.1 2024년 ACL의 Self-Synthesized Rehearsal 연구도 비슷한 문제의식을 다룹니다. 원본 과거 데이터 없이 LLM이 합성 예시를 만들고, 이를 리허설에 활용해 기존 능력 보존을 시도했습니다.2
실무적으로 보면 이 접근은 “이전 데이터를 저장할 수 있는가?”라는 질문을 “모델이 복습에 쓸 만한 샘플을 만들 수 있는가?”로 바꿉니다. 데이터 보관이 어렵거나 제한적인 환경에서는 중요한 차이입니다.
그래도 병목은 모델 용량과 최적화다
자기 생성 리플레이가 모든 상황을 해결하는 것은 아닙니다. 모델의 남은 용량이 적으면 리플레이가 있어도 망각이 지속될 수 있습니다.1 이미 포화에 가까운 사전학습 모델은 새 정보를 흡수하는 과정에서 기존 지식을 덮어쓸 위험이 큽니다.1
학습률도 함께 봐야 합니다. 용량이 병목이 아닐 때 낮은 파인튜닝 학습률은 망각을 줄이는 데 도움이 됩니다.1 다만 목표 손실에 도달하기까지 더 많은 optimizer step이 필요합니다.1 따라서 업데이트 전략을 설계할 때는 단순히 “학습률을 낮추면 안전하다”가 아니라, 학습 시간과 망각 완화 사이의 균형을 고려해야 합니다.
또한 관련 논의에서는 높은 사전학습 learning rate가 망각을 줄일 수 있다는 관찰도 제시됐습니다. 관련 코드는 GitHub 저장소에 공개되어 있습니다: https://github.com/martin-marek/forgetting
적용할 때 봐야 할 세 가지
LLM을 지속적으로 업데이트한다면 다음 세 가지를 함께 점검해야 합니다.
과거 데이터를 저장할 수 있는가
저장이 어렵다면 자기 생성 리플레이가 현실적인 대안이 될 수 있습니다.모델에 새 지식을 담을 여유가 있는가
용량이 부족하면 리플레이만으로는 망각을 막기 어렵습니다.학습률과 학습 스텝의 trade-off를 감당할 수 있는가
낮은 파인튜닝 학습률은 망각을 줄일 수 있지만, 목표 손실까지 더 많은 step이 필요할 수 있습니다.
결론은 명확합니다. LLM을 계속 업데이트하려면 “무엇을 새로 배울지”만큼 “무엇을 잊지 않게 할지”를 설계해야 합니다. 자기 생성 리플레이는 과거 데이터를 직접 저장하지 않고도 복습 신호를 만드는 실용적인 선택지입니다. 다만 효과를 제대로 보려면 모델 용량, 학습률, 리플레이 데이터의 품질을 함께 관리해야 합니다.
1Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay
2Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.