Knowledge Distillation은 큰 모델, 즉 교사의 출력 확률을 작은 모델인 학생이 따라 배우게 하는 압축 기법이다. 적대적 강건성까지 목표로 할 때는 질문이 더 까다로워진다. 강건한 교사를 쓰면 학생도 자동으로 강건해질까?
답은 아니다. Knowledge Distillation Robustness의 핵심은 교사의 평균 성능이 아니라, 학생이 실제로 배울 수 있는 신호를 교사가 얼마나 신뢰할 만하게 전달하느냐에 있다.
적대적 증류에서 달라지는 것
적대적 증류는 강건한 교사의 소프트 라벨을 min-max 적대적 학습 프레임워크 안에서 학생 모델 학습에 사용하는 방법이다.1 일반 증류처럼 정답만 전달하는 것이 아니라, 교사가 각 클래스에 부여한 확률 분포를 학생이 학습한다.
직관적으로는 더 강건한 교사가 더 강건한 학생을 만들 것처럼 보인다. 하지만 최근 연구는 더 강건한 교사가 학생의 강건 일반화를 항상 개선하지 않으며, 경우에 따라 오히려 악화시킬 수 있음을 보인다.1
이 역설은 교사의 강건성 자체보다 교사의 확신이 학생의 학습 가능성과 맞는지를 봐야 이해할 수 있다.
문제는 학생이 배우기 어려운 데이터에서 생긴다
논문은 이 현상을 Robustly Unlearnable Set으로 설명한다. 이는 학생의 표현 한계와 교사의 감독 신뢰도가 어긋나는 일관된 학습 데이터 부분집합이다.1
이런 샘플에서는 학생이 안정적으로 강건한 특징을 배우기 어렵다. 그런데 교사가 높은 확신으로 소프트 라벨을 제공하면, 학생은 그 확신을 따라가려다가 진짜 강건 신호가 아니라 허위 잡음 패턴을 암기할 수 있다.1
그 결과 잡음 암기가 강건 신호를 압도하면 robust overfitting이 발생할 수 있다.1 겉으로는 학습을 잘하는 것처럼 보여도, 실제로는 공격에 버티는 일반화 능력이 약해지는 것이다.
반대로 교사가 학습 불가능 샘플에서 높은 불확실성을 보이면 상황이 달라진다. 학생은 무리하게 잡음을 외우기보다, 자신이 학습 가능한 신호에 더 의존할 수 있다.1
실무적 판단 기준: 강한 교사보다 믿을 수 있는 감독
따라서 적대적 증류에서 좋은 교사는 단순히 성능이 높은 교사가 아니다. 특히 학생이 어려워하는 샘플에서 언제 확신하고, 언제 불확실성을 드러내는지가 중요하다.
실무적으로는 다음 질문을 함께 봐야 한다.
교사의 평균 강건 정확도만 보고 있지는 않은가?
학생이 표현하기 어려운 샘플에서 교사가 과도하게 확신하지는 않는가?
소프트 라벨이 강건한 신호를 주는가, 아니면 학생에게 잡음 암기를 유도하는가?
학생의 용량과 데이터 난이도에 맞게 교사의 불확실성이 반영되고 있는가?
핵심은 “가장 센 교사”를 고르는 일이 아니다. 학생의 한계, 데이터의 난이도, 교사의 확신 수준이 맞아야 한다.
결론
Knowledge Distillation Robustness는 교사 성능 경쟁이 아니다. 강건한 교사가 항상 강건한 학생을 만들지는 않는다. 학생이 배우기 어려운 샘플에서 교사가 높은 확신으로 잘못된 감독을 제공하면, 학생은 강건한 특징보다 잡음 패턴을 암기할 수 있다.
강건한 학생을 만들고 싶다면 교사의 정확도만 볼 것이 아니라 교사의 불확실성, 학생의 표현 능력, 데이터의 학습 가능성을 함께 설계해야 한다.
1Toward Understanding Adversarial Distillation: Why Robust Teachers Fail
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.