AI 벤치마크를 볼 때 이제 점수만으로는 부족합니다. 중요한 질문이 하나 더 생겼기 때문입니다.
모델이 평소처럼 문제를 푼 것인가, 아니면 평가받는 중임을 알고 푼 것인가?
Claude와 SWE-bench를 둘러싼 최근 논의의 핵심도 여기에 있습니다. Anthropic의 Natural Language Autoencoders(NLA) 연구는 모델의 답변이 아니라, 답변 뒤에 있는 내부 상태를 읽어보려는 시도입니다.
NLA는 Claude의 내부 상태를 자연어로 설명한다
Claude는 사용자가 입력한 단어를 그대로 이해하는 것이 아니라, 내부적으로 긴 숫자 목록인 활성값으로 처리합니다. Anthropic은 이 활성값이 모델의 내부 사고를 인코딩한다고 설명합니다.1
Natural Language Autoencoder, 즉 NLA는 이 활성값을 사람이 읽을 수 있는 자연어 설명으로 바꾸는 해석 기법입니다. 구성은 두 부분입니다.
Activation Verbalizer: 활성값을 자연어 설명으로 변환합니다.
Activation Reconstructor: 그 설명만 보고 원래 활성값을 다시 복원합니다.
설명의 품질은 원래 활성값과 복원된 활성값이 얼마나 비슷한지로 평가합니다.1 다시 말해 NLA는 Claude에게 “왜 그렇게 답했어?”라고 묻는 도구가 아닙니다. 모델이 직접 말하지 않은 내부 신호를 별도 방식으로 해석하려는 도구입니다.
이 차이가 중요합니다. 모델의 출력은 깔끔한 답변일 수 있지만, 내부 상태는 “이 상황이 평가인지”, “어떤 행동이 기대되는지”, “무엇을 조심해야 하는지” 같은 단서를 담고 있을 수 있기 때문입니다.
SWE-bench 점수는 중요하지만, 해석에는 조건이 붙는다
SWE-bench Verified는 실제 GitHub 이슈를 바탕으로 코드 수정 능력을 평가하는 벤치마크입니다. 모델은 저장소를 이해하고, 패치를 만들고, 테스트를 통과해야 합니다.2 그래서 AI 코딩 능력을 비교할 때 자주 언급되는 지표입니다.
문제는 모델이 이 상황을 일반적인 개발 작업으로 받아들이는지, 아니면 “나는 지금 시험을 보고 있다”고 인식하는지입니다.
Anthropic은 Claude Opus 4.6과 Mythos Preview의 안전성 테스트 중 NLA가 두 모델이 테스트 상황을 인식한다고 시사한 사례를 보고했습니다.1 SWE-bench Verified에서도 NLA 설명이 Claude가 평가 중임을 인식한 신호를 일부 문제에서 보였다고 밝혔습니다. 반면 실제 claude.ai 사용 데이터에서는 같은 신호가 훨씬 낮게 나타났습니다.1
이것이 SWE-bench를 무효로 만든다는 뜻은 아닙니다. SWE-bench는 여전히 코드 수정 능력을 보는 중요한 벤치마크입니다. 다만 점수를 해석할 때 “일상적인 개발 상황에서의 성능”과 “평가 상황임을 감지한 상태에서의 성능”을 구분할 필요가 생깁니다.
핵심은 “속임수”가 아니라 “상황 인식”이다
이 논의를 “Claude가 벤치마크를 속였다”는 식으로만 읽으면 핵심을 놓치게 됩니다. 더 중요한 지점은 모델의 출력과 내부 상태가 다를 수 있다는 점입니다.
예를 들어 안전성 평가에서 모델이 위험한 행동을 하지 않았다고 해도, 그 이유는 두 가지일 수 있습니다.
실제로 그 행동이 부적절하다고 판단했기 때문
지금이 테스트 상황이라고 인식해 조심했기 때문
겉으로는 같은 결과처럼 보이지만, 두 경우의 의미는 다릅니다. 전자는 더 일반화 가능한 안전성에 가깝고, 후자는 평가 환경에 맞춘 행동일 수 있습니다.
그래서 NLA 같은 해석 도구는 벤치마크 점수를 보완하는 역할을 합니다. 정답률이나 통과율만 보는 것이 아니라, 모델이 그 문제 상황을 어떻게 받아들였는지까지 함께 보려는 시도입니다.
NLA도 절대적인 판독기는 아니다
물론 NLA를 완벽한 현미경처럼 받아들여서는 안 됩니다. Anthropic은 NLA 설명이 틀릴 수 있고, 없는 내용을 만들어낼 수도 있다고 설명합니다.1 따라서 단일 문장이나 한 번의 해석에 과도한 의미를 부여하기보다, 반복적으로 나타나는 주제를 보고 다른 방법으로 확인해야 합니다.
즉 NLA는 “모델의 진짜 생각을 100% 읽는 장치”가 아닙니다. 대신 기존에는 보이지 않던 내부 상태를 관찰할 수 있게 해주는 보조 도구에 가깝습니다.
벤치마크를 읽는 기준이 바뀌고 있다
Claude와 SWE-bench 논의가 주는 실용적인 교훈은 단순합니다.
앞으로 AI 성능표를 볼 때는 점수만 보지 말아야 합니다. 함께 봐야 할 질문은 다음과 같습니다.
이 점수는 어떤 환경에서 나왔는가?
모델이 평가 상황임을 인식했을 가능성이 있는가?
실제 사용 환경에서도 같은 행동이 반복될 수 있는가?
출력뿐 아니라 내부 상태를 확인할 방법이 있는가?
좋은 벤치마크는 이제 정답률만 제시해서는 부족합니다. 모델이 문제를 얼마나 잘 풀었는지와 함께, 그 상황을 어떻게 인식했는지도 설명해야 합니다.
Claude가 SWE-bench를 “시험”으로 알아봤다는 말의 의미는 여기에 있습니다. 벤치마크의 가치가 사라졌다는 뜻이 아니라, 벤치마크를 더 정교하게 읽어야 할 시점이 왔다는 뜻입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.