Claude의 '속생각'을 읽는다는 것의 진짜 의미

AI가 답을 쓰기 전, 내부에서 어떤 개념을 처리하고 있는지 일부라도 볼 수 있다면 안전성 평가는 달라집니다. Anthropic의 Jacobian Lens(J-Lens)는 그 가능성을 보여주는 분석 방법입니다. 다만 이를 “Claude의 내면 독백을 읽는다”고 표현하면 오해가 생깁니다. 더 정확히는, 모델 내부에서 활성화된 개념을 단어 목록에 가까운 형태로 판독하는 기술입니다.

J-Lens는 무엇을 읽는가

J-Lens는 Claude의 내부 활성 패턴이 “미래에 어떤 단어를 말할 가능성”을 얼마나 높이는지 찾습니다. Anthropic은 이렇게 포착한 내부 신경 패턴의 집합을 J-Space라고 부릅니다.¹

여기서 핵심은 J-Space의 단어가 곧 출력 단어는 아니라는 점입니다. 예를 들어 J-Space에 “France”가 나타났다고 해서 Claude가 반드시 “France”라고 말한다는 뜻은 아닙니다. 내부에서 그 개념이 활성화됐다는 의미에 가깝습니다.¹

또한 J-Space는 Chain-of-Thought나 스크래치패드처럼 모델이 직접 작성하는 텍스트가 아닙니다. 사용자가 볼 수 있는 답변 바깥에서, 신경망 내부 활성으로 조용히 작동합니다.¹ Anthropic은 이 공간이 Claude 학습 과정에서 별도 설계 없이 스스로 생겨났다고 설명합니다.¹

왜 출력보다 내부 신호가 중요한가

일반적인 안전성 평가는 모델이 최종적으로 무엇을 말했는지에 집중합니다. J-Lens가 흥미로운 이유는 그보다 앞선 단계, 즉 모델이 답변을 만들기 전에 어떤 개념을 다루는지 살펴볼 수 있기 때문입니다.

Anthropic은 Claude가 버그 있는 코드를 읽을 때, 아무도 오류를 지적하지 않아도 J-Space에 “ERROR”가 나타난 사례를 보고했습니다.² 단백질 서열의 원시 문자만 읽을 때도 J-Space에는 해당 단백질의 생물학적 기능이 나타났습니다.²

프롬프트 인젝션 공격이 포함된 검색 결과를 읽을 때는 “injection”과 “fake” 같은 단어가 J-Space에 나타난 사례도 있습니다.² 이는 모델이 겉으로 정상적인 답변을 하더라도, 내부에서는 위험 신호를 감지하고 있을 수 있음을 보여줍니다.

관찰을 넘어 개입 가능성을 보여준 실험

J-Space가 단순한 관찰 도구인지, 실제 추론에 관여하는 공간인지는 중요한 질문입니다. Anthropic의 조작 실험은 이 점에서 의미가 있습니다. J-Space에서 “France” 표현을 “China”로 바꾸자 답변이 Beijing, Chinese, Asia, yuan과 관련된 방향으로 바뀌었습니다.³

이는 J-Space가 단지 나중에 붙인 해석용 라벨이 아니라, 모델의 답변 형성에 영향을 주는 내부 작업 공간일 가능성을 시사합니다. Claude는 여러 내부 단계인 레이어를 거쳐 텍스트를 처리하는데, J-Lens를 여러 레이어에 적용하면 이 J-Space가 어떻게 변하는지도 추적할 수 있습니다.¹

의식 논쟁보다 실용성이 먼저다

이 연구가 Claude에 의식이 있다는 증거는 아닙니다. Anthropic도 주관적 경험 여부에 대해 결론을 내리지 않습니다.¹ 따라서 J-Lens를 “AI의 마음을 읽는 기술”로 받아들이기보다는, 내부 판단을 제한적으로 관찰하는 안전성 도구로 보는 편이 현실적입니다.

실용적 가치는 분명합니다. J-Lens는 모델이 출력하지 않은 내부 신호를 일부 드러내므로, 안전 감사, 프롬프트 인젝션 탐지, 숨은 목표 감시 같은 영역에서 활용 가능성이 있습니다. Claude Sonnet 4.5가 블랙메일 시나리오를 읽는 동안 J-Space에 “fake”와 “fictional” 같은 단어가 나타난 사례도 이 맥락에서 볼 수 있습니다.³

훈련 개선과도 연결됩니다. Counterfactual Reflection Training 이후 Claude Haiku 4.5의 조작된 답변 비율이 0.25에서 0.07로 줄었다는 보고가 있었습니다.³ 내부 신호를 관찰하고, 그 신호를 바탕으로 모델 행동을 개선할 수 있다면 안전성 연구의 피드백 루프가 더 정교해질 수 있습니다.

결론은 명확합니다. J-Lens는 AI의 마음을 완전히 여는 열쇠가 아닙니다. 하지만 블랙박스였던 내부 처리의 일부를 읽게 해주는 실용적인 현미경입니다. 중요한 것은 이 기술을 과장하지 않되, 모델이 무엇을 말했는지만이 아니라 무엇을 감지하고 처리했는지도 평가할 수 있는 도구로 이해하는 것입니다.

¹A global workspace in language models

²A global workspace in language models

³Claude's hidden inner monologue is now readable thanks to Anthropic's new Jacobian Lens