AI 생성 이미지
기업용 AI 학습에서 어려운 점은 단순히 데이터를 더 많이 모으는 것이 아닙니다. 내부 도구 사용법, 고객별 예외, 사내 규칙처럼 공개 벤치마크로는 잘 드러나지 않는 행동을 안정적으로 익혀야 합니다. 이때 모델이 만든 모든 출력을 그대로 따라 배우면, 유용한 절차뿐 아니라 우연한 말투, 불안정한 추론, 잘못된 자신감까지 함께 강화될 수 있습니다.
Applied Compute가 소개한 Relevance-Masked Self-Distillation, 즉 RMSD는 이 문제를 “무엇을 배울 것인가”보다 “무엇을 학습 신호에서 제외할 것인가”에 가깝게 다룹니다. 핵심은 자기증류 과정에서 손실을 모든 토큰에 동일하게 적용하지 않고, 관련성이 있다고 판단한 부분에만 집중하도록 마스크를 씌우는 것입니다.
자기증류는 왜 매력적이고, 왜 위험한가
자기증류는 더 강한 외부 교사 모델 없이 모델 자신의 출력이나 변형된 조건을 학습 신호로 활용해 대형 언어 모델을 적응시키는 방법입니다.1 비용이 큰 폐쇄형 교사 모델이나 대규모 사람 라벨링에 덜 의존할 수 있어, 도메인별 적응이 필요한 기업 환경과 잘 맞습니다.
그러나 자기회귀 LLM의 자기증류는 구조적으로 까다롭습니다. 모델이 생성하는 궤적은 자유형이고, 어떤 응답이 “맞다”고 볼 수 있는지도 과제에 따라 달라집니다.1 그럴듯한 설명이 실제 업무 절차와 맞지 않을 수 있고, 긴 답변 안에서 일부 토큰만 중요한 신호일 수도 있습니다.
따라서 자기증류의 실전 가치는 단순히 모델이 만든 답을 다시 학습시키는 데 있지 않습니다. 신뢰할 수 있는 신호와 그렇지 않은 신호를 구분하는 데 있습니다.
RMSD의 핵심: 손실에도 마스크를 씌운다
온폴리시 증류는 학생 모델이 생성한 궤적 위에서 교사 모델이 토큰 수준 학습 신호를 제공하는 방식입니다.2 반복적인 그룹 롤아웃과 보상 평가를 피할 수 있어, RL 기반 사후학습보다 토큰 효율적일 수 있습니다.2 다만 표준 온폴리시 증류는 보통 별도의 더 큰 교사 모델과 학생·교사 간 공유 토큰 어휘를 전제로 합니다.2
온폴리시 자기증류에서는 같은 모델이 추가 문맥을 프롬프트에 조건화해 교사와 학생 역할을 동시에 수행합니다.2 RMSD는 이 흐름에서 손실을 계산할 대상을 relevance mask로 제한합니다. Applied Compute가 소개한 RMSD의 핵심 특징은 2단계 필터링된 손실 마스크를 사용한다는 점입니다.
이 접근의 의미는 분명합니다. 모델이 만든 출력 전체를 학습 대상으로 삼지 않고, 업무적으로 의미 있는 토큰이나 구간에 학습을 집중시키려는 것입니다. 예를 들어 내부 도구 호출, 고객 데이터 처리, 예외 상황 대응처럼 중요한 행동은 강화하되, 우연히 생성된 표현이나 불안정한 추론 흔적은 덜 따라가게 만드는 방향으로 이해할 수 있습니다.
RMSD는 OPSD와 무엇이 다른가
Applied Compute는 RMSD를 on-policy self-distillation, 즉 OPSD와 비교했습니다. 이 비교에서 중요한 지점은 “같은 모델이 만든 신호를 다시 배우는가”가 아니라 “그 신호 중 어디에 손실을 줄 것인가”입니다.
OPSD가 온폴리시 자기증류의 기본 틀을 제공한다면, RMSD는 그 위에 관련성 기반 선택 장치를 얹은 방식으로 볼 수 있습니다. 즉 모델이 만든 응답을 그대로 학습 대상으로 삼는 대신, 2단계 필터링을 거친 마스크로 손실 적용 범위를 좁힙니다.
기업용 학습에서는 이 차이가 작지 않습니다. 업무 데이터에는 정답과 잡음이 섞여 있고, 긴 응답 안에서도 실제로 중요한 부분은 제한적일 수 있습니다. RMSD의 관점은 “더 많은 자기생성 데이터를 쓰자”가 아니라 “자기생성 데이터 안에서 학습할 부분을 더 엄격히 고르자”에 가깝습니다.
평가할 때는 성능보다 신호 품질을 먼저 봐야 한다
최근 UniSD 연구도 자기증류를 감독 신뢰성, 표현 정렬, 학습 안정성 관점에서 통합적으로 분석해야 한다고 정리합니다.1 다중 교사 합의, EMA 교사 안정화, 토큰 수준 대조학습, 특징 매칭, 발산 클리핑 같은 장치가 필요한 이유도 결국 신뢰할 수 있는 학습 신호를 만들기 위해서입니다.1
UniSD 평가는 3개 모델 계열의 6개 모델과 6개 벤치마크에서 수행됐고, UniSDfull은 기본 모델 대비 5.4점, 가장 강한 기준선 대비 2.8점 향상을 보고했습니다.1 여기서 읽어야 할 핵심은 자기증류가 단순한 재학습 기법이 아니라는 점입니다. 효과를 내려면 어떤 신호를 믿고, 어떤 신호를 줄이거나 버릴지 설계해야 합니다.
RMSD도 같은 기준으로 봐야 합니다. 실무 적용 전에는 다음 질문이 중요합니다.
마스크는 어떤 토큰이나 구간을 관련 있다고 판단하는가?
OOD 상황에서 잘못된 자신감을 강화하지 않는가?
내부 도구 사용 실패나 예외 처리 오류를 학습 신호에서 어떻게 다루는가?
중요한 업무 행동과 단순한 표현 습관을 구분할 수 있는가?
실무적 결론
RMSD의 가치는 자기증류를 더 조심스럽게 만드는 데 있습니다. 모델이 만든 답을 다시 학습시키는 방식은 비용 효율적일 수 있지만, 필터 없이 적용하면 오류와 잡음도 함께 강화될 수 있습니다. RMSD는 2단계 필터링된 손실 마스크를 통해 관련성이 높은 부분에 학습을 집중시키려는 접근입니다.
기업용 AI 학습에서 승부는 항상 더 큰 모델이나 더 많은 데이터로만 갈리지 않습니다. 어떤 신호를 학습시킬지, 어떤 신호를 버릴지, 그리고 그 선택을 얼마나 안정적으로 반복할 수 있는지가 중요합니다. RMSD는 바로 그 지점에서 볼 만한 자기증류 접근입니다.
1UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
2Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.