LLM의 Chain-of-Thought(CoT)는 답을 내기 전에 드러나는 “풀이 과정”입니다. 하지만 중요한 질문은 따로 있습니다. 그 풀이가 실제로 모델이 답을 만든 과정을 반영하느냐입니다. 이것이 CoT 충실성입니다.1
최근 CoT 충실성을 탐지한다는 여러 방법이 무작위 수준에 가까운 성능을 보였다는 논의가 나온 이유도 여기에 있습니다. 문제는 단순히 탐지기가 부족하다는 데 있지 않습니다. 더 근본적으로는, 우리가 무엇을 “충실한 CoT”로 볼 것인지가 아직 단일한 기준으로 정리되지 않았다는 데 있습니다.
CoT 충실성은 하나의 개념이 아니다
CoT 충실성 평가는 보통 두 방향으로 나뉩니다.
첫째는 맥락적 충실성입니다. 입력이나 CoT 문장을 바꿨을 때 모델의 답이 어떻게 달라지는지를 봅니다. CoT가 실제 판단에 영향을 줬다면, 관련된 추론 흔적을 교란했을 때 답도 의미 있게 흔들릴 가능성이 있습니다.
둘째는 파라미터적 충실성입니다. 모델이 파라미터에 저장한 지식과 CoT, 최종 답 사이의 관계를 봅니다. 즉, 모델이 이미 알고 있는 내부 지식이 답을 결정했는지, CoT가 그 과정과 얼마나 맞물려 있는지를 따지는 접근입니다.1
이 구분이 중요한 이유는 두 평가가 같은 것을 재지 않기 때문입니다. 둘 다 CoT 충실성을 다루지만, 관찰하는 층위가 다릅니다. 따라서 한 지표에서 좋은 결과가 나왔다고 해서 CoT가 전반적으로 충실하다고 말하기는 어렵습니다.
왜 탐지가 자주 빗나가나
FaithMate 연구는 맥락적 충실성과 파라미터적 충실성을 같은 틀에서 비교했습니다. 3개 모델, 2개 데이터셋, 6개 충실성 지표를 사용해 최적화 효과를 살폈습니다.1
결과는 단순한 “좋다/나쁘다”가 아니었습니다. 파라미터적 충실성 쪽으로 최적화했을 때는 맥락적 지표와 파라미터적 지표가 함께 개선되는 경향이 나타났습니다. 반면 맥락적 충실성 쪽 최적화는 효과가 더 가변적이었습니다.1
특히 맥락적 충실성 안에서는 한 지표의 개선이 다른 지표로 안정적으로 전이되지 않았습니다.1 이는 기존 지표들이 CoT 충실성의 동일한 속성을 반복해서 재는 것이 아니라, 서로 다른 측면을 포착하고 있음을 시사합니다.
측정 도구에 따라 결론이 달라지는 문제도 있습니다. 같은 10,276개 reasoning trace에 세 분류기를 적용한 연구에서 충실성 비율은 각각 74.4%, 82.6%, 69.7%로 갈렸습니다. 모델 순위가 뒤바뀌는 사례도 있었습니다.2 결국 “어떤 모델이 더 충실한가”라는 질문은 “어떤 판정기를 썼는가”에 크게 좌우될 수 있습니다.
실무에서는 어떻게 봐야 하나
CoT를 감사 로그처럼 그대로 믿어서는 안 됩니다. CoT는 모델의 내부 과정을 직접 기록한 것이 아니라, 외부로 드러난 추론 텍스트입니다. 그 텍스트가 실제 판단 과정과 맞을 수도 있지만, 사후 설명처럼 보일 수도 있습니다.
그렇다고 CoT를 무시해야 한다는 뜻은 아닙니다. CoT는 여전히 유용한 관찰 신호입니다. 다만 단독 증거로 쓰기보다 다음 질문과 함께 다뤄야 합니다.
지금 평가하는 것은 맥락적 충실성인가, 파라미터적 충실성인가?
사용한 탐지기나 분류기에 따라 결론이 달라지는가?
입력 교란, CoT 교란, 내부 개입, causal 분석에서 같은 방향의 결과가 나오는가?
하나의 지표가 아니라 여러 지표에서 일관된 패턴이 확인되는가?
결론은 명확합니다. CoT 충실성은 하나의 점수로 끝낼 수 있는 품질 지표가 아닙니다. 여러 층위의 평가가 필요한 다면적 문제입니다. 따라서 CoT 충실성을 평가할 때는 “충실한가?”라고 묻기보다, “어떤 의미의 충실성을, 어떤 방법으로, 얼마나 안정적으로 확인했는가?”라고 물어야 합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.