AI 설명 가능성에서 가장 자주 묻는 질문은 단순합니다. “어떤 feature가 예측에 얼마나 기여했는가?”
SHAP, LIME, Integrated Gradients 같은 방법은 이 질문에 실용적인 답을 제공해 왔습니다. 그러나 많은 attribution 방법은 기본적으로 기여도를 나누고 더하는 선형적 관점에 기대고 있습니다. 문제는 실제 딥러닝 모델의 판단이 항상 그렇게 분해되지 않는다는 점입니다. 어떤 feature는 혼자 있을 때보다 다른 feature와 함께 있을 때 훨씬 큰 영향을 만들고, 모델 내부의 반응도 비선형적으로 얽혀 있습니다.
그래서 최근 관심은 “각 feature의 점수를 어떻게 공정하게 나눌 것인가”를 넘어섭니다. 핵심 질문은 이제 “비선형 상호작용까지 반영한 기여도를 어떻게 정의할 것인가”에 가깝습니다.
선형 attribution이 정리한 것
최근 GRALIS는 기존 attribution 방법들을 하나의 수학적 틀로 묶으려는 중요한 시도입니다. GRALIS는 GradCAM, SHAP, LIME, Integrated Gradients를 하나의 표현 이론 안에서 이해하는 프레임워크로 제안됐으며, 구체적으로 SHAP, Integrated Gradients, LIME, linearized GradCAM을 포함합니다.2
핵심은 L^2(Q, μ) 공간에서 additive, linear, continuous attribution functional이 고유한 정준 표현 (Q, w, Δ)을 갖는다는 점입니다. 이 보장은 Riesz Representation Theorem에 기반합니다.2
이런 정식화의 장점은 큽니다. 여러 attribution 방법을 따로따로 외우는 대신, 어떤 조건 아래에서 같은 구조로 이해할 수 있는지 보여줍니다. 또한 GRALIS는 exact completeness, Monte Carlo convergence, exact Shapley Interaction Values, Hoeffding ANOVA decomposition 등을 정리로 제시합니다.2 Monte Carlo convergence는 O(1/√m)+O(1/k)로 제시됐고, Sobol sensitivity generalization과 multi-scale 확장인 MS-GRALIS도 포함합니다.2 MS-GRALIS는 minimum-variance weights를 사용하는 multi-scale 확장으로 설명됩니다.2
다만 이 성과는 동시에 경계도 분명히 보여줍니다. GRALIS는 선형 attribution functional을 중심으로 구성된 프레임워크입니다. 따라서 standard GradCAM이나 attention map처럼 nonlinear functional에 해당하는 방법은 제외됩니다.2 즉, GRALIS는 “선형 attribution을 얼마나 잘 통합할 수 있는가”를 보여주는 동시에, “비선형 attribution은 왜 별도의 논의가 필요한가”를 드러냅니다.
비선형 attribution이 겨냥하는 빈칸
비선형 attribution method는 feature 하나하나의 독립 기여만 보려는 접근이 아닙니다. feature 조합, 상호작용, 모델의 비선형 반응까지 attribution의 대상으로 삼으려는 방법입니다.
최근 소개된 비선형 공리적 attribution 연구도 이 문제의식에서 출발합니다. 이 연구는 Shapley value의 한계를 다루기 위해 비선형 공리적 attribution 방법을 제안하며, 각 방법은 contribution vector를 특정 최소화 문제의 고유한 최적해로 산출합니다.
여기서 중요한 변화는 관점입니다. 전통적인 Shapley식 사고가 기여를 “어떻게 공정하게 배분할 것인가”에 초점을 둔다면, 비선형 attribution은 “비선형 구조와 공리적 조건을 만족하는 기여 벡터를 어떻게 찾을 것인가”로 질문을 바꿉니다.
이 차이는 실무에서도 중요합니다. 예를 들어 생명과학처럼 feature는 많고 샘플은 적으며 신호가 비선형으로 얽힌 영역에서는 기존 feature selection이나 saliency map만으로 충분하지 않을 수 있습니다. 관련 벤치마크는 비선형 신호를 탐지하는 상황에서 neural network feature selection 방법들의 한계를 정량적으로 비교합니다.3
방법을 고를 때 봐야 할 기준
비선형 attribution이 등장했다고 해서 기존 방법이 모두 낡았다는 뜻은 아닙니다. 오히려 중요한 것은 문제에 맞는 가정을 확인하는 일입니다.
새로운 attribution 방법을 볼 때는 이름보다 다음 기준을 먼저 봐야 합니다.
선형성을 가정하는가?
feature 기여가 더해지는 구조인지, 비선형 조합까지 다루는지 확인해야 합니다.상호작용을 표현할 수 있는가?
feature 간 결합 효과가 중요한 문제라면 단일 feature 점수만으로는 부족할 수 있습니다.completeness 같은 보존 성질이 있는가?
attribution 값의 합이나 구조가 모델 출력과 어떤 관계를 갖는지 봐야 합니다.계산 가능성과 안정성이 충분한가?
이론적으로 정교한 방법도 실제 데이터와 모델에서 안정적으로 계산되지 않으면 쓰기 어렵습니다.어떤 함수 공간이나 공리 위에서 정의되는가?
attribution은 단순한 시각화가 아니라 특정 수학적 가정 위에서 나온 결과입니다.
결론: feature 점수표를 넘어 상호작용 설명으로
비선형 attribution method는 설명 가능한 AI의 다음 단계로 볼 수 있습니다. 기존 선형 attribution은 여전히 유용하고, GRALIS처럼 이를 통합하는 프레임워크는 방법 간 관계를 이해하는 데 큰 도움을 줍니다. 그러나 standard GradCAM, attention map, 복잡한 feature interaction처럼 선형 틀 밖에 남아 있는 설명 문제도 분명합니다.
따라서 앞으로의 XAI에서 중요한 질문은 “어떤 feature가 가장 중요했는가”만이 아닙니다. “feature들이 함께 작동할 때 생기는 효과를 얼마나 정확하고 안정적으로 설명할 수 있는가”가 더 중요해질 수 있습니다.
비선형 attribution은 그 질문에 답하기 위한 방향입니다. 만능 해답이라기보다, 복잡한 모델을 설명할 때 단일 중요도 점수만으로 충분한지 점검하게 만드는 새로운 기준에 가깝습니다.
1Using Shapley interactions to understand how models use structure
2GRALIS: A Unified Canonical Framework for Linear Attribution Methods via Riesz Representation
3A quantitative benchmark of neural network feature selection methods for detecting nonlinear signals
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.