LLM의 추론 성능을 높이는 일은 단순히 더 많은 정답을 보여주는 문제가 아닙니다. 긴 풀이에서 모델은 처음 몇 단계는 맞게 가다가, 특정 지점에서 잘못된 방향으로 꺾일 수 있습니다. 이때 중요한 질문은 “정답이 무엇인가”보다 “어디서 처음 틀렸고, 그 부분만 어떻게 고칠 것인가”입니다.
Targeted on-policy self-distillation은 이 질문에 초점을 맞춘 접근입니다. 핵심은 모델이 실제로 생성한 추론 경로 위에서, 오류가 발생한 구간에 학습 신호를 집중하는 것입니다.
OPSD: 한 모델이 학생이자 교사가 되는 방식
온폴리시 자기증류(OPSD)는 하나의 LLM이 학생과 교사 역할을 동시에 수행하는 학습 프레임워크입니다.1
학생 역할의 모델은 문제만 보고 답을 생성합니다. 반면 교사 역할의 모델은 같은 문제에 더해 검증된 추론 흔적이나 정답 같은 특권 정보를 추가로 받습니다. 그런 다음 학생이 직접 샘플링한 궤적 위에서, 학생 역할과 교사 역할의 토큰별 분포 차이를 줄이도록 학습합니다.1
이 구조에는 두 가지 장점이 있습니다.
첫째, 학생이 만든 출력 위에서 학습하므로 훈련 분포가 실제 추론 상황에 더 가깝습니다. 이는 전문가 풀이를 모방하는 지도 미세조정(SFT)에서 발생할 수 있는 노출 편향 문제와 대비됩니다.1
둘째, 정답 여부만 알려주는 강화학습보다 더 조밀한 피드백을 줄 수 있습니다. 강화학습은 검증 가능한 보상을 통해 온폴리시 학습을 할 수 있지만, 보상이 희소하면 어느 토큰이 잘못에 기여했는지 판단하기 어렵습니다. OPSD는 학생의 실제 생성 경로 위에서 토큰 수준의 감독을 제공한다는 점에서 이 간극을 줄입니다.1
또한 OPSD는 별도의 외부 교사 모델 없이 같은 모델을 다른 조건으로 호출해 교사 역할을 만들 수 있습니다. 표준 온폴리시 증류(OPD)가 더 강한 외부 교사 모델에 의존하는 것과 다르며, GPU 메모리 사용량도 약 40~60% 줄일 수 있는 것으로 설명됩니다.1
왜 “전체 답변”이 아니라 “틀린 구간”인가
OPSD의 기본 아이디어는 유용하지만, 긴 추론에서는 한 가지 문제가 남습니다. 모델의 답변 전체가 틀린 것은 아닐 수 있다는 점입니다.
예를 들어 앞부분의 추론은 타당하지만, 중간의 한 단계에서 잘못된 가정을 넣어 이후 풀이가 무너질 수 있습니다. 이때 전체 답변에 동일하게 증류 신호를 주면, 이미 맞았던 접두부까지 불필요하게 바뀔 수 있습니다. 추론을 고치려다 오히려 유효한 사고 과정을 훼손할 위험이 생깁니다.
Targeted OPSD가 중요한 이유가 여기에 있습니다. 목표는 “더 많이 학습시키는 것”이 아니라 “고쳐야 할 위치에만 학습 압력을 주는 것”입니다.
ROSD(Reflective On-policy Self-Distillation)는 이 방향을 구체화한 프레임워크입니다.2 ROSD는 반성 기반 오류 위치 추정을 활용해, 참조해답을 단순히 모방하는 방식을 표적 추론 교정으로 바꾸려는 접근입니다.2 즉, 모델이 자신의 롤아웃을 검토해 오류가 발생한 위치를 추정하고, 그 구간을 중심으로 교정 신호를 주는 방식으로 이해할 수 있습니다.
Targeted OPSD를 볼 때의 판단 기준
Targeted OPSD의 가치는 성능 향상 수치만으로 판단하기 어렵습니다. 실제로 중요한 것은 추론을 어떻게 고치는가입니다.
첫째, 오류 위치를 제대로 찾는지가 핵심입니다. 긴 추론에서 처음 틀어진 지점을 찾지 못하면, 증류 신호는 불필요한 구간에 들어가거나 이미 맞는 추론을 바꿀 수 있습니다. 표적화의 성패는 오류 위치 추정의 품질에 크게 좌우됩니다.
둘째, 맞는 추론을 보존해야 합니다. 좋은 교정은 전체 답변을 새로 쓰는 것이 아니라, 유효한 접두부는 유지하고 잘못된 부분부터 방향을 바꾸는 것입니다. Targeted OPSD가 일반적인 증류와 구분되는 지점도 여기에 있습니다.
셋째, 외부 교사에 대한 의존과 학습 비용을 함께 봐야 합니다. OPSD는 같은 모델을 학생과 교사로 활용하기 때문에 별도의 강한 교사 모델 없이 온폴리시 학습과 토큰 수준 감독을 결합할 수 있습니다.1 다만 이것이 모든 상황에서 자동으로 최선이라는 뜻은 아닙니다.
최근 연구들은 OPSD가 특권 정보의 성격, 손실 함수, 교사 조건에 민감할 수 있다고 지적합니다.3 또한 강한 thinking model에서는 자기수정이나 되돌아가기 같은 탐색 행동을 약화시킬 위험도 보고됐습니다.4 따라서 Targeted OPSD를 적용하거나 평가할 때는 단순 정확도뿐 아니라, 모델의 탐색 능력과 자기수정 행동이 어떻게 변하는지도 함께 확인해야 합니다.
실무적으로 얻을 수 있는 교훈
Targeted on-policy self-distillation의 핵심은 정답을 더 많이 주입하는 데 있지 않습니다. 모델이 실제로 생성한 롤아웃을 기준으로, 처음 잘못된 지점을 찾고, 그 구간에만 교정 신호를 집중하는 데 있습니다.
LLM 추론 개선 기법을 평가할 때는 다음 질문을 던져볼 수 있습니다.
학습이 모델의 실제 생성 분포 위에서 이루어지는가?
토큰 수준의 조밀한 피드백을 제공하는가?
전체 답변이 아니라 오류 구간을 겨냥하는가?
맞는 추론 접두부를 보존하는가?
자기수정이나 탐색 행동을 약화시키지 않는가?
결론적으로 Targeted OPSD는 “모델에게 정답을 알려주는 방법”이라기보다 “모델이 어디서 틀렸는지 찾아 그 부분만 고치게 하는 방법”에 가깝습니다. LLM의 추론 능력을 개선하려면 성능 숫자만 볼 것이 아니라, 오류 위치 추정과 유효한 추론 보존이 함께 작동하는지 확인해야 합니다.
1A Brief Overview: On-Policy Self-Distillation In Large Language Models
2ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains
3The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.