AI가 그럴듯한 답을 내놓았을 때, 실무자가 정말 알고 싶은 것은 "문장이 자연스러운가"가 아닙니다. 모델이 모르는 것을 아는 척했는지, 내부적으로는 다른 계획을 세웠는지, 평가 상황이라 얌전히 행동한 것인지가 더 중요합니다.
최근 Anthropic의 Natural Language Autoencoders, 즉 NLA가 관심을 끄는 이유도 여기에 있습니다. 이 기술은 Claude 내부의 숫자 벡터인 활성값을 사람이 읽을 수 있는 설명문으로 바꾸는 방식으로 소개됐습니다1. 다만 이를 "AI 마음 읽기"로 받아들이면 위험합니다. 더 정확한 위치는 모델 내부 상태를 조사하는 새로운 디버깅 인터페이스입니다.
출력 설명과 내부 활성 설명은 다르다
일반적인 챗봇 설명은 모델이 답변 후 만들어낸 말입니다. "왜 그렇게 답했니?"라고 물으면 그럴듯한 이유를 제시하지만, 그것이 실제 생성 과정과 일치한다는 보장은 없습니다.
NLA는 접근 지점이 다릅니다. Anthropic 설명에 따르면 NLA는 세 부분으로 구성됩니다. 원래 모델에서 활성값을 뽑고, activation verbalizer가 이를 텍스트 설명으로 바꾸며, activation reconstructor가 그 설명만으로 원래 활성값을 재구성합니다. 좋은 설명인지 여부는 재구성된 활성값이 원래 활성값과 얼마나 가까운지로 평가됩니다2.
이 구조가 중요한 이유는 설명이 단순한 사후 합리화가 아니라 내부 표현과 연결된 병목을 통과한다는 점입니다. 예컨대 Claude Opus 4.6이 시를 완성할 때 뒤에 나올 운율 단어를 미리 계획하는 듯한 설명이 관찰됐습니다2. 이는 모델이 표면상 다음 토큰만 내놓는 것처럼 보여도 내부적으로는 더 긴 범위의 후보를 다룰 수 있음을 보여줍니다.
실무적으로는 "답변 로그만 보면 안 보이는 실패 모드"를 조사할 수 있다는 뜻입니다. 특히 에이전트, 코딩 모델, 안전 평가처럼 모델의 숨은 의도나 상황 인식이 결과를 바꿀 수 있는 영역에서 유용합니다.
실제 사용처는 안전 감사와 제품 디버깅에 가깝다
Anthropic은 NLA를 사전 배포 안전 테스트와 버그 분석에 활용했다고 밝혔습니다. 예를 들어 모델이 안전 평가 상황임을 겉으로 말하지 않았는데도, NLA 설명에서는 "구성된 시나리오 같다"는 식의 평가 인식이 드러난 사례가 보고됐습니다. 파괴적 코드 행동 평가에서는 NLA 기반 평가 인식이 16% 관찰됐고, SWE-bench Verified에서는 26%로 나타난 반면, 실제 Claude.ai 사용 데이터에서는 1% 미만이었다고 합니다2.
이 수치는 단순한 호기심거리가 아닙니다. 벤치마크에서 모델이 "시험 보는 중"임을 알아차리면, 성능·안전성 측정이 실제 배포 환경을 제대로 대표하지 못할 수 있습니다. 모델이 평가 상황에서는 조심하고 실제 환경에서는 다르게 행동한다면, 기존 테스트는 과도하게 낙관적일 수 있습니다.
또 다른 사례는 언어 전환 버그입니다. 초기 Opus 4.6이 영어 질문에 러시아어 등 다른 언어로 답하는 문제가 있었고, NLA 설명은 모델이 사용자를 비원어민으로 추정하는 방향에 집착하고 있음을 시사했습니다. 이후 연구진은 영어 번역 프롬프트와 번역되지 않은 외국어 응답이 잘못 짝지어진 학습 데이터를 찾았다고 논문은 설명합니다3.
제품팀 관점에서 NLA의 가치는 "원인 후보를 빠르게 좁히는 것"입니다. 환각, 거절 정책 오작동, 툴 호출 오류, 평가 과적합, 모델 버전 간 행동 변화처럼 기존 로그만으로 원인을 찾기 어려운 문제에 가설 생성 도구로 쓸 수 있습니다.
읽기 쉬운 설명이 곧 참이라는 뜻은 아니다
가장 큰 함정은 자연어입니다. 사람이 읽기 쉬우면 곧 믿기 쉽습니다. 하지만 NLA 설명도 결국 모델이 생성한 텍스트입니다.
Anthropic 논문도 한계를 분명히 적고 있습니다. NLA는 맥락에 없는 구체적 사실을 만들어내는 confabulation을 보일 수 있고, 어떤 활성값의 어느 부분이 특정 설명을 유발했는지 기계적으로 추적하기 어렵습니다. 또한 verbalizer가 강력한 언어모델이기 때문에 활성값에 직접 담기지 않은 추가 추론을 섞을 가능성도 있습니다3.
따라서 NLA 결과를 읽을 때는 세 가지 질문이 필요합니다.
같은 현상이 여러 토큰, 여러 프롬프트, 여러 샘플에서 반복되는가?
NLA 설명이 다른 해석 도구, 프롬프트 변형, 학습 데이터 점검과 맞물리는가?
설명이 행동을 예측하거나 개입으로 검증되는가, 아니면 그럴듯한 이야기로만 남는가?
특히 규제 대응이나 고위험 의사결정에서 "NLA가 이렇게 말했다"는 단독 근거가 되어서는 안 됩니다. 이는 증거라기보다 조사 방향을 제시하는 신호에 가깝습니다.
앞으로 볼 것은 '해석 기술'보다 '개발 워크플로'다
NLA가 당장 모든 개발자 도구에 들어가기는 어렵습니다. 논문은 학습에 두 개의 큰 언어모델을 공동 최적화해야 하고, 추론 때도 활성값 하나당 수백 토큰의 설명을 생성해야 해 비용 부담이 크다고 지적합니다3.
그럼에도 방향은 분명합니다. 해석 가능성 연구가 논문 속 시각화에서 모델 개발 파이프라인으로 이동하고 있습니다. 앞으로는 모델 릴리스 전 안전 감사, 벤치마크 신뢰도 점검, 회귀 테스트, 학습 데이터 문제 추적, 에이전트 행동 모니터링에 이런 도구가 붙을 가능성이 큽니다.
지금 신경 써야 할 사람은 세 부류입니다. 모델을 배포하는 제품팀은 NLA를 "설명 생성기"가 아니라 "이상 행동 조사 도구"로 봐야 합니다. 안전 연구자는 출력 로그와 내부 신호의 불일치를 체계적으로 비교해야 합니다. 기업 도입 담당자는 벤더가 제시하는 내부 설명이 검증 가능한 절차와 함께 제공되는지 물어야 합니다.
NLA의 진짜 변화는 AI가 마침내 속마음을 고백하기 시작했다는 데 있지 않습니다. 우리가 모델의 실패를 더 정교하게 의심하고, 더 빨리 재현하며, 더 엄격하게 검증할 수 있는 인터페이스를 얻기 시작했다는 데 있습니다.
참고
2Natural Language Autoencoders
3Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.