딥 앙상블은 여러 신경망을 독립적으로 학습한 뒤 예측을 결합하는 방법입니다. 딥러닝에서는 불확실성을 정량화할 때 가장 널리 쓰이는 기본 접근법 중 하나로 여겨져 왔습니다.1
하지만 그래프 신경망(GNN), 특히 이웃 노드의 정보를 주고받는 메시지 패싱 GNN에서도 같은 전제가 성립할까요? 논문 *Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?*는 이 질문을 직접 다룹니다.1
핵심은 단순합니다. 딥 앙상블이 불확실성을 잘 포착하려면, 여러 모델이 의미 있게 다른 예측을 내야 합니다. 그런데 GNN에서는 그 다양성이 충분히 생기지 않을 수 있습니다.
딥 앙상블이 불확실성을 말하는 방식
앙상블의 장점은 평균 자체에만 있지 않습니다. 서로 다른 모델들이 얼마나 다르게 판단하는지가 중요합니다.
특히 인식론적 불확실성은 모델이 아직 충분히 알지 못해서 생기는 불확실성입니다. 데이터 자체의 잡음에서 오는 우연적 불확실성과 구분됩니다. 딥 앙상블에서 인식론적 불확실성을 포착하는 핵심 메커니즘은 모델 간 불일치입니다.1
즉, 여러 모델이 같은 입력에 대해 서로 다른 예측을 낸다면 “이 지점은 모델이 확신하지 못한다”는 신호로 해석할 수 있습니다. 반대로 독립적으로 학습한 모델들이 거의 같은 예측으로 수렴한다면, 앙상블은 불확실성을 드러내기보다 단일 모델과 비슷하게 행동하게 됩니다.
메시지 패싱 GNN에서 확인된 문제
연구진은 표준 딥 앙상블을 메시지 패싱 방식의 GNN에 적용해, 과제와 복잡도가 다른 7개 데이터셋에서 벤치마크했습니다.1 그 결과 앙상블은 단일 모델보다 성능이 개선되기는 했지만, 개선 폭은 작았습니다.1
더 중요한 것은 개선이 어디서 왔는가입니다. 논문은 관찰된 이득이 불확실성 추정의 향상보다는 점 예측에서 발생하는 최적화 잡음을 안정화한 효과에 주로 가깝다고 분석합니다.1 다시 말해, 앙상블이 “모르는 것을 더 잘 표현했다”기보다는 “예측값을 조금 더 매끄럽게 만들었다”는 해석입니다.
연구진은 우연적 불확실성과 인식론적 불확실성을 분해해 살펴봤고, 독립적으로 학습된 네트워크들이 지나치게 유사한 예측으로 수렴하는 현상을 확인했습니다.1 논문은 이를 ‘인식론적 붕괴’로 설명합니다.1
이는 GNN에서 딥 앙상블을 사용할 때 중요한 경고입니다. 이미지 분야 등 다른 영역에서 효과적이었다는 이유만으로, 그래프 구조 데이터에서도 불확실성을 잘 포착할 것이라고 가정하기 어렵습니다.
실무에서 무엇을 확인해야 하나
이 연구의 결론은 “딥 앙상블은 GNN에서 쓸모없다”가 아닙니다. 더 정확히는 “앙상블을 썼다는 사실만으로 불확실성 추정이 좋아졌다고 볼 수 없다”는 것입니다.
GNN에서 딥 앙상블을 적용한다면 다음을 따로 확인해야 합니다.
단일 모델 대비 정확도나 손실이 얼마나 개선되는가
그 개선이 예측 안정화 때문인지, 불확실성 추정 개선 때문인지
모델 간 예측 불일치가 실제로 충분히 존재하는지
우연적 불확실성과 인식론적 불확실성이 구분되어 관찰되는지
캘리브레이션이나 OOD 탐지 같은 목적 지표에서도 개선이 있는지
특히 정확도 향상만 보고 불확실성 추정이 좋아졌다고 판단하면 위험합니다. 앙상블의 평균 예측은 좋아질 수 있지만, 모델들이 모두 비슷한 방식으로 틀린다면 불확실성 신호는 여전히 약할 수 있습니다.
결론: GNN에서는 앙상블도 검증 대상이다
딥 앙상블은 여전히 강력한 출발점입니다. 하지만 그래프 신경망에서는 그 효과를 자동으로 믿기 어렵습니다. 불확실성 추정의 핵심이 모델 간 다양성이라면, 메시지 패싱 GNN에서 그 다양성이 실제로 생기는지부터 확인해야 합니다.
따라서 GNN에서 딥 앙상블을 사용할 때의 실용적 기준은 명확합니다. 앙상블 크기를 늘리는 것보다 먼저, 모델 간 disagreement가 존재하는지와 그 disagreement가 의미 있는 불확실성 신호로 작동하는지를 검증해야 합니다. 그래프 영역에서 딥 앙상블은 기본값이 아니라, 목적에 맞게 평가해야 할 방법입니다.
1Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.