대형 언어 모델을 작은 모델로 증류할 때는 보통 교사 모델의 크기, 학생 모델의 성능, 벤치마크 점수에 주목합니다. 하지만 그 전에 더 기본적인 문제가 있습니다. 교사와 학생이 같은 문장을 서로 다른 토큰으로 쪼갠다면, 교사가 전달하는 확률 분포를 학생이 그대로 배울 수 없습니다.
NVIDIA가 소개한 X-Token은 이 병목을 겨냥한 projection-guided cross-tokenizer knowledge distillation 방식입니다.1 핵심은 서로 다른 토크나이저를 쓰는 모델 사이에서도 교사의 분포 정보를 덜 버리고, 학생에게 더 잘 맞게 전달하는 데 있습니다.
왜 토크나이저가 증류의 병목이 되는가
크로스 토크나이저 지식 증류는 교사와 학생 모델의 어휘 체계가 호환되지 않을 때 사용하는 증류 방식입니다.1 예를 들어 교사 모델은 어떤 숫자나 단어를 하나의 토큰으로 처리하지만, 학생 모델은 이를 여러 토큰으로 나눌 수 있습니다. 반대의 경우도 가능합니다.
이 차이는 단순한 전처리 문제가 아닙니다. 지식 증류에서는 교사 모델이 다음 토큰에 대해 어떤 확률 분포를 갖는지가 중요한 학습 신호가 됩니다. 그런데 교사와 학생의 토큰 단위가 다르면, 교사의 분포를 학생의 출력 공간에 어떻게 대응시킬지가 곧 성능을 좌우합니다.
기존 크로스 토크나이저 KD 연구는 주로 은닉 상태 또는 로짓을 맞추는 방식으로 접근해 왔습니다.1 그중 로짓 기반 방식은 별도 보조 구성요소 없이 대체 적용하기 쉽기 때문에 실용적인 선택지로 선호됩니다.1 문제는 로짓을 어디까지, 어떤 방식으로 맞출 것인가입니다.
정답 토큰만 보면 교사의 지식을 너무 많이 버린다
가장 단순한 방법은 정답 토큰의 확률만 사용하는 것입니다. 하지만 이 방식은 교사 분포에 담긴 전체 “다크 지식”을 놓칠 수 있습니다.1 다크 지식이란 정답이 아닌 후보들에 담긴 상대적 선호 정보입니다. 교사가 어떤 오답을 덜 틀린 후보로 보는지, 어떤 표현을 더 자연스럽게 보는지 같은 신호가 여기에 포함됩니다.
반대로 전체 출력 분포를 활용하는 로짓 기반 방식도 한계가 있습니다. 전체 분포를 학생 쪽으로 옮기려면 엄격한 토큰 분할이나 휴리스틱 순위화에 의존할 수 있기 때문입니다.1 이 과정에서 중요한 토큰이 잘못 묶이거나, 의미상 가까운 토큰이 매칭되지 못할 수 있습니다.
논문은 특히 두 가지 문제를 지적합니다. 첫째는 “희귀 토큰 실패”입니다. 중요한 토큰이 매칭되지 않은 집합으로 밀려나 학습 중 억제되는 현상입니다.1 수학 문제처럼 숫자 토큰 처리가 중요한 작업에서는 이런 문제가 더 치명적일 수 있습니다. 실제로 X-Token은 GSM8k 정확도를 2.56에서 15.54로 끌어올린 사례를 제시합니다.
둘째는 “과도하게 보수적인 매칭”입니다.1 표면 형태가 정확히 같지 않더라도 의미상 연결 가능한 토큰이 있을 수 있는데, 지나치게 엄격한 1:1 대응만 허용하면 교사 신호를 충분히 활용하지 못합니다.
X-Token의 방향: 더 유연하게 연결하되, 분포 정보는 살린다
X-Token의 핵심은 교사와 학생의 토큰 공간을 projection으로 연결하는 것입니다. 토큰이 완전히 일치하지 않는다는 사실을 무시하는 대신, 교사 분포를 학생 쪽으로 옮길 수 있는 매핑을 구성합니다.
논문은 이를 위해 두 가지 손실을 제안합니다.1
P-KL은 토큰 분할에 의존하지 않고, 희소 projection matrix W를 사용해 교사 분포를 학생 토큰 공간에 맞춥니다.
H-KL은 기존 하이브리드 구조를 유지하면서도, W를 기준으로 더 유연한 상위 매핑을 허용합니다.
이 접근의 가치는 “정답 토큰만 보는 방식”과 “전체 분포를 무리하게 맞추는 방식” 사이의 균형에 있습니다. 교사의 분포 정보를 최대한 살리되, 서로 다른 토크나이저 때문에 생기는 부정확한 매칭을 줄이려는 시도입니다.
성능보다 먼저 봐야 할 메시지
실험에서 X-Token은 Llama-3.2-1B 학생 모델에 Qwen3-4B 교사를 사용했을 때 기존 SOTA인 GOLD보다 평균 3.82포인트 높은 성능을 보였습니다.1 Phi-4-Mini 교사를 사용한 설정에서는 +0.5포인트 개선을 기록했고, 두 교사를 함께 쓰는 설정도 단일 교사 대비 +1.3포인트 향상됐습니다.1
이 결과의 의미는 단순히 새 증류 기법이 더 높은 점수를 냈다는 데 있지 않습니다. 서로 다른 모델 패밀리를 조합해 작은 모델을 학습시킬 때, 토크나이저 불일치 자체가 실제 성능 병목이 될 수 있다는 점을 보여줍니다.
실무적으로는 “어떤 큰 교사를 쓸 것인가”만큼 “그 교사의 토큰화 방식이 학생과 얼마나 잘 연결되는가”를 확인해야 합니다. 특히 수학, 코드, 숫자처럼 토큰 경계가 결과에 큰 영향을 주는 작업에서는 이 기준이 더 중요합니다.
X-Token이 주는 결론은 명확합니다. 작은 모델을 더 잘 증류하려면 교사 모델의 크기나 손실 함수만 볼 것이 아니라, 교사와 학생 사이의 토큰 매칭 품질까지 함께 봐야 합니다. 토크나이저는 주변 요소가 아니라, 증류 성능을 결정하는 핵심 연결부입니다.
1X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.