모델 개선은 대개 느린 주기로 움직입니다. 데이터를 모으고, 학습을 다시 돌리고, 새 버전을 배포하는 단계가 순서대로 이어지기 때문입니다. 이 과정은 수개월 단위로 길어질 수 있습니다.1
Trajectory가 제안하는 지속 학습은 이 흐름을 더 짧은 루프로 바꾸려는 접근입니다. 사용자 피드백과 프로덕션 상호작용을 학습 입력으로 삼아 모델을 계속 업데이트하는 방식입니다.1 Continual LoRA, 즉 C-LoRA는 이를 위해 공개된 오픈소스 훈련 스택입니다.
C-LoRA의 핵심: 하나의 기본 모델, 여러 LoRA 어댑터
C-LoRA는 하나의 공유 기본 모델 위에서 여러 경량 LoRA 어댑터를 동시에 실행합니다.1 큰 모델 전체를 매번 다시 학습하는 대신, 실험별로 작은 어댑터를 붙여 업데이트하는 구조입니다.
중요한 변화는 실험을 시작할 때마다 모델을 새로 띄우지 않는다는 점입니다. 기존 직렬 작업 방식에서는 각 실험마다 체크포인트를 로드하고, 분산 런타임을 초기화하고, 추론 엔진을 워밍업해야 합니다. 대형 모델에서는 이 재시작 단계만으로도 실행당 30분을 넘을 수 있습니다.1
C-LoRA는 분산 엔진을 항상 켜 둔 상태로 유지합니다. 기본 모델은 한 번만 초기화하고, 각 실험은 별도의 LoRA 어댑터로 붙습니다. 그래서 학습 인프라는 단발성 배치 작업 묶음이 아니라, 여러 실험을 계속 받아들이는 서비스에 가까워집니다.
왜 지속 학습에는 Multi-LoRA가 중요한가
전통적인 강화학습 훈련 스택은 세 가지 요소로 요약할 수 있습니다. 샘플러는 현재 정책 모델에서 trajectory를 생성하고, 트레이너는 그 trajectory로 그래디언트를 계산해 정책 모델 가중치를 업데이트합니다. 이후 파라미터 동기화가 업데이트된 가중치를 추론 워커에 배포해 다음 rollout이 최신 정책을 사용하도록 합니다.1
이 구조 자체는 명확하지만, 단일 실험 중심으로 운영되면 병목이 생깁니다. 특히 프런티어 모델은 100B 파라미터를 넘는 경우가 많아 RL 훈련과 샘플링 모두에서 GPU 메모리 요구량이 큽니다.1 큰 모델 하나가 자원을 오래 점유하면 다른 실험은 대기할 수밖에 없습니다.
C-LoRA의 Multi-LoRA 방식은 이 문제를 다른 방향에서 풉니다. 여러 실험을 각각의 어댑터로 분리하되, 같은 기본 모델과 warm 상태의 분산 엔진을 공유합니다. Trajectory는 8개 동시 Multi-LoRA 실험에서 단일 테넌트 직렬 실행 대비 최종 실험 완료 시간 기준 2.81배의 처리량 개선을 기록했다고 밝혔습니다.1
다만 이 결과를 “모든 실험이 항상 더 빨라진다”는 뜻으로 읽으면 안 됩니다. 개별 실험의 지연 시간은 늘 수 있습니다. C-LoRA가 특히 유리한 상황은 한 번의 최단 실행보다 여러 실험을 얼마나 빠르게 반복하고 완료하느냐가 더 중요한 경우입니다.
적용 전 확인할 질문
C-LoRA의 가치는 단순히 “LoRA를 더 싸게 쓴다”에 있지 않습니다. 핵심은 지속 학습을 운영 가능한 시스템으로 만드는 데 있습니다. 지속 학습에서는 학습, 추론, 파라미터 동기화가 반복적으로 이어져야 하고, 실험을 새로 시작할 때마다 긴 초기화 비용을 치르면 전체 루프가 느려집니다.
따라서 적용 여부를 판단할 때는 먼저 병목을 확인해야 합니다.
실험마다 모델 로드와 엔진 워밍업 시간이 큰가?
단일 실험의 최단 시간이 중요한가, 여러 실험의 총 처리량이 중요한가?
같은 기본 모델 위에서 여러 개선 실험을 동시에 돌릴 필요가 있는가?
지속적인 피드백 반영을 위해 학습 루프를 더 자주 돌려야 하는가?
이 질문에 “그렇다”가 많다면 C-LoRA의 구조가 실질적인 이점을 줄 수 있습니다. 반대로 실험 수가 적고 단일 실행 지연 시간이 가장 중요한 환경이라면, Multi-LoRA의 처리량 이점보다 개별 실험 지연 증가가 더 크게 느껴질 수 있습니다.
Trajectory는 UC Berkeley Sky Lab, Anyscale과 협력해 multi-LoRA RL 훈련 플랫폼을 SkyRL에 오픈소스로 공개했다고 밝혔습니다.1 직접 검토하려는 팀은 이 구현을 참고해 자신의 훈련 파이프라인에서 초기화 비용, GPU 점유율, 실험 대기 시간을 먼저 측정해보는 것이 현실적인 출발점입니다.
결국 C-LoRA는 모델을 가끔 교체하는 산출물로 보지 않고, 계속 업데이트되는 시스템으로 다루려는 인프라 제안입니다. 지속 학습이 목표라면 중요한 질문은 “모델을 한 번 더 학습할 수 있는가”가 아니라 “학습 루프를 얼마나 지속적으로, 효율적으로 운영할 수 있는가”입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.