언어 모델 증류의 확장성은 학생 모델의 크기만으로 결정되지 않는다. 교사 모델을 몇 번 실행해야 하는지, 교사 출력을 다른 실험에서도 재사용할 수 있는지, 긴 시퀀스의 손실 계산이 GPU 메모리를 얼마나 점유하는지가 전체 비용 구조를 좌우한다.
따라서 Scalable Knowledge Distillation은 하나의 최적화 기법이라기보다 반복 계산과 일회성 준비 작업을 분리하는 파이프라인 설계 문제로 볼 필요가 있다.
먼저 결정해야 할 것은 교사 계산의 시점이다
온라인 지식 증류에서는 매 학습 스텝마다 교사 모델의 순전파를 다시 계산한다. 교사와 학생 모델도 동시에 메모리에 유지해야 한다. 이 구조에서는 학생 학습을 반복할 때마다 교사 계산 역시 반복된다.1
오프라인 지식 증류는 비용의 발생 시점을 바꾼다. 토큰별 교사 모델의 상위 K개 로짓을 한 번 계산해 캐시하고, 이후 학생 학습에서는 이 데이터를 사용한다. 같은 캐시는 여러 증류 실험과 절제 연구에서 다시 활용할 수 있다.1
이 차이는 실험 운영 방식에 중요한 의미가 있다. 온라인 방식에서는 각 실험이 교사 추론 비용을 다시 부담하지만, 오프라인 방식에서는 교사 출력을 공용 학습 자산처럼 다룰 수 있다. 반면 데이터나 교사 설정이 바뀌면 어떤 캐시를 다시 생성해야 하는지, 상위 K를 어떻게 정할지, 캐시 저장과 읽기를 전체 파이프라인에 어떻게 포함할지는 별도로 검토해야 한다.
교사 비용을 줄이면 손실 계산이 다음 병목이 된다
교사 추론을 사전 계산으로 옮겼다고 해서 증류가 자동으로 가벼워지는 것은 아니다. 긴 컨텍스트와 큰 어휘를 다루는 환경에서는 KL 손실 계산의 메모리 사용량과 스텝 시간이 남는다.
gpt-oss-120b의 어휘 크기는 201,088개 토큰이다. 이처럼 어휘가 큰 모델에서는 손실 구현 방식이 시스템 한계와 직접 연결될 수 있다.2
공개된 측정치는 청크 기반 손실 구현이 어떤 영역을 겨냥하는지 보여준다.
| 측정 조건 | 확인된 결과 |
|---|---|
| 단일 H200, 8K 컨텍스트, 오프라인 fused chunked KL | 최대 메모리 58.3GB |
| 32K 토큰 손실 커널 벤치마크, dense loss | 최대 메모리 85.2GiB |
| 32K 토큰 손실 커널 벤치마크, fully chunked loss | 최대 메모리 5.45GiB |
| GPT-OSS 20B, 32,768토큰 증류, fused loss 적용 전후 | 스텝 시간 57.0초에서 12.23초로 감소 |
이 수치들은 서로 다른 조건의 측정값이므로 하나의 연속된 성능 비교처럼 합쳐 해석해서는 안 된다. 특히 GB와 GiB 표기가 다르고, 메모리 측정과 스텝 시간 측정의 대상도 구분된다. 다만 긴 시퀀스 증류에서 손실 구현이 부수적인 세부 사항이 아니라 독립적으로 검증해야 할 병목이라는 점은 확인할 수 있다.2
청크 손실 구현은 github.com/CompactifAI/Full-Chunked-KL-Loss에 공개되어 있다.2
실제 도입에서는 평균 성능보다 비용 경계를 봐야 한다
Scalable Knowledge Distillation을 평가할 때는 특정 커널의 단일 벤치마크보다 전체 작업의 경계를 명확히 하는 것이 중요하다.
첫째, 교사 출력 준비 비용을 포함해야 한다. 오프라인 방식의 가치는 캐시를 얼마나 반복해서 사용할 수 있는지에 따라 달라진다. 한 번의 학생 학습만 측정하면 사전 계산 비용과 재사용 효과를 함께 판단하기 어렵다.
둘째, 상위 K 캐시의 정책을 검증해야 한다. K를 달리했을 때 학습 결과, 저장 요구량, 데이터 읽기 부담이 어떻게 달라지는지 확인해야 한다. 캐시 재사용이 가능하다는 사실과 어떤 K가 적절한지는 별개의 문제다.
셋째, 커널 수치와 종단 간 학습 수치를 분리해야 한다. 손실 계산의 최대 메모리가 줄어드는 것과 전체 학습 시간이 같은 비율로 줄어드는 것은 동일한 주장이 아니다. 데이터 공급, 캐시 접근, 학생 모델 계산까지 포함한 결과가 필요하다.
넷째, 목표 하드웨어에서 재현해야 한다. 공개 수치에는 H200 조건이 포함되어 있지만, 실제 배치 크기와 컨텍스트 길이, 모델 구성에 따라 운영 가능한 지점은 달라질 수 있다. 벤치마크는 도입 결론이 아니라 자체 측정의 출발점으로 사용하는 편이 안전하다.
다음 단계에서 확인할 것
앞으로 주목할 지표는 단순한 스텝 시간 하나가 아니다. 교사 로짓 생성부터 캐시 재사용, 학생 학습까지 포함한 총비용, 상위 K 선택에 따른 결과, 긴 컨텍스트에서의 최대 메모리, 서로 다른 하드웨어에서의 재현성을 함께 봐야 한다.
결국 Scalable Knowledge Distillation의 실질적 가치는 교사 계산을 반복하지 않는 구조와 손실 계산의 메모리 부담을 같은 파이프라인 안에서 관리할 수 있는지에 달려 있다. 공개 구현과 수치는 가능성을 보여주는 출발점이며, 다음 판단은 각 조직의 실험 반복 횟수와 목표 컨텍스트에서 내려야 한다.
1Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.