AI 추론 단계의 Internal 표현은 무엇을 보여주는가
AI가 풀이 과정을 문장으로 출력하더라도, 그 문장이 내부 추론을 그대로 보여준다고 단정할 수는 없다. 최근 연구들은 모델의 Internal 활성값을 분석하면 현재 수행 중인 추론 작업과 중요하게 처리하는 단계를 출력문만 볼 때보다 더 정밀하게 파악할 수 있음을 보여준다.
추론 작업은 내부 표현에서도 구분된다
KAIST와 네이버 AI Lab 연구진은 추출, 분해, 공식 회상, 연역, 계산 등을 포함한 8가지 추론 작업을 정의했다. 연구진은 Qwen2.5-7B, Qwen3-8B, Gemma4-31B가 생성한 수학 문제 풀이를 구간별로 나누고, GPT-5를 이용해 각 구간의 추론 작업 유형을 분류했다.1
세 모델 모두 내부 활성값에서 추론 작업별로 구분되는 패턴이 나타났으며, 이 신호는 중간 계층에서 가장 강했다. 문제를 잘못 푼 경우에도 모델이 수행한 작업의 유형은 내부 표현에서 식별됐다.1 이는 정답 여부와 수행한 추론 동작의 종류를 별개의 대상으로 분석할 수 있다는 의미다.
또한 앞선 30개 토큰에 대한 어텐션을 차단하자 해당 추론 작업을 나타내는 내부 신호가 약해졌다.1 따라서 이 패턴은 고정된 표지라기보다 직전 문맥을 바탕으로 형성되는 상태로 이해하는 편이 적절하다.
중요한 단계는 출력문보다 활성값에 선명하게 나타난다
별도의 연구에서는 모델 활성값이 추론 텍스트의 토큰보다 어떤 단계가 중요한지 식별하는 정보를 더 많이 담고 있었다. 활성값 기반 프로브는 후속 단계가 생성되기 전에도 현재 단계의 중요도를 예측했으며, 서로 다른 모델의 내부 표현도 중요한 단계에 대해 높은 일치도를 보였다.2 여기서 프로브는 내부 활성값에 특정 정보가 포함돼 있는지 판별하는 도구다.
중요도 표현은 한 계층에 집중되지 않고 여러 계층에 분산돼 있었다. 또한 단계의 상대적 위치나 길이 같은 표면적 특징과 뚜렷한 상관관계를 보이지 않았다.2 따라서 설명이 길거나 풀이 초반에 등장했다는 이유만으로 해당 단계를 핵심 추론으로 판단해서는 안 된다.
내부 표현은 공유 작업 공간처럼 기능할 수 있다
언어 모델의 내부 상태는 여러 개념을 나타내는 기본 벡터 표현들로 구성된 고차원 벡터다. 이 표현에는 품사나 문자열 길이 같은 저수준 정보뿐 아니라 개체, 심리 상태, 상황 인식과 같은 추상 정보도 부호화될 수 있다.3
일부 표현은 여러 전문 처리기가 정보를 공유하고 후속 과정이 이를 읽는 ‘글로벌 워크스페이스’와 유사하게 설명된다. 이러한 워크스페이스형 표현은 언어 보고, 지시된 조절, 내부 추론, 유연한 일반화라는 기능을 기준으로 정의된다. 실제로 관련 벡터에 개입하면 중간 계산이 달라지고 최종 결론의 방향도 바뀔 수 있었다.3
다만 이러한 결과는 모델 내부의 기능적 구조를 설명할 뿐, AI의 의식이나 인간과 같은 사고를 입증하지는 않는다.
요약: Internal 분석은 출력 검사를 보완한다
Internal 표현을 분석하면 모델이 어떤 추론 작업을 수행했는지, 어느 단계를 중요하게 처리했는지, 결론을 좌우한 중간 계산이 무엇인지 구분하는 데 도움이 된다. 특히 오답에서도 추론 작업 유형을 식별할 수 있으므로, 결과의 정확성만 확인하는 평가보다 세밀한 진단이 가능하다.
실무에서는 출력된 추론문을 그대로 신뢰하기보다 Internal 신호와 함께 검증해야 한다. 오류가 시작된 단계, 불필요한 계산, 핵심 판단 지점을 추적하면 AI 모델의 평가와 디버깅을 더 정밀하게 수행할 수 있다.
1AI models' written reasoning steps correspond to distinct internal patterns, a new study finds
2[2604.18307] Reasoning Models Know What's Important, and Encode It in Their Activations
3Verbalizable Representations Form a Global Workspace in Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.