LLM의 지속 학습은 모델이 새 지식, 새 과제, 새 사용자 요구를 순차적으로 반영하면서도 기존 능력을 잃지 않게 만드는 문제다. 핵심은 “더 자주 업데이트하는 것”이 아니라, 무엇을 어디에 저장하고 얼마나 빠르게 바꿀지 설계하는 데 있다.
최근 arXiv 2605.05097로 공개된 Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics는 이 주제를 여러 시간尺度의 메모리 동역학 관점에서 다룬다. 저자는 Andreas Pattichis와 Constantine Dovrolis이며, 논문은 cs.LG, cs.AI, cs.CL 분야로 분류되어 있다.1
지속 학습의 진짜 어려움
LLM을 파라미터 업데이트로 적응시키면 과제별 요령과 일반 추론 능력이 하나의 지속적 가중치 집합 안에 함께 들어간다.2 이 방식은 특정 도메인 성능을 끌어올릴 수 있지만, 그만큼 위험도 있다. 좁은 도메인에 맞춰 파인튜닝하면 분포 밖 성능이 저하될 수 있고, 이후 새로운 과제에 다시 파인튜닝하는 능력까지 낮아질 수 있다.2
따라서 지속 학습을 평가할 때는 “새 데이터를 반영했는가”만 보면 부족하다. 더 중요한 질문은 세 가지다.
새 지식을 넣은 뒤 기존 능력이 얼마나 유지되는가
특정 도메인에 맞춘 뒤에도 다른 과제에 적응할 여력이 남아 있는가
업데이트된 정보가 모델 파라미터, 외부 메모리, 프롬프트 중 어디에 저장되는가
이 기준이 없으면 지속 학습은 단순한 반복 파인튜닝으로 흐르기 쉽다.
빠른 학습과 느린 학습을 나누는 이유
모든 변화를 모델 가중치에 직접 반영할 필요는 없다. 프롬프트 최적화는 빠른 과제별 적응을 가능하게 하지만, 단독으로는 파라미터 업데이트가 도달할 수 있는 성능 상한에 미치지 못할 수 있다.2 반대로 파라미터 업데이트는 강력하지만, 잘못 사용하면 기존 능력과 다음 학습 가능성을 손상시킬 수 있다.
이 긴장을 설명하는 접근이 Fast-Slow Training(FST)이다. FST는 프롬프트 등 에이전트·컨텍스트 계층을 “빠른 가중치”로, 네트워크 파라미터를 “느린 가중치”로 최적화한다.2 빠른 층위는 과제별 세부사항과 단기 적응을 담당하고, 느린 층위는 더 안정적인 일반 능력을 유지하는 식이다.
이 관점에서 지속 학습은 하나의 학습 방식이 아니라 계층 설계 문제에 가깝다. 어떤 정보는 프롬프트나 컨텍스트에 두고, 어떤 정보는 검색이나 외부 메모리로 관리하며, 정말 필요한 경우에만 파라미터를 바꾸는 식의 판단이 필요하다.
실무에서의 판단 기준
LLM 시스템에 지속 학습을 적용하려면 먼저 업데이트의 성격을 구분해야 한다.
자주 바뀌는 사실이나 사용자별 선호는 빠르게 수정 가능한 층위에 두는 것이 적합하다.
장기적으로 유지해야 할 일반 능력은 파라미터 업데이트에서 신중하게 다뤄야 한다.
특정 도메인 성능 개선이 목표라면, 분포 밖 성능과 이후 학습 능력 저하 여부를 함께 확인해야 한다.
결국 지속 학습의 목표는 모델을 계속 바꾸는 것이 아니라, 바뀌어야 할 부분과 안정적으로 남아야 할 부분을 분리하는 것이다. 앞으로의 LLM 시스템은 하나의 거대한 가중치에 모든 변화를 밀어 넣기보다, 여러 학습 속도와 메모리 층위를 조합하는 방향으로 발전할 가능성이 크다.
2Learning, Fast and Slow: Towards LLMs That Adapt Continually
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.