🔰 [원문번역] 대형 언어 모델의 사고 과정 추적하기 (Tracing the thoughts of a large language model)

대형 언어 모델의 사고 과정 추적하기

2025년 3월 27일

어제 발표된 앤트로픽의 연구논문 소개를 한국어로 번역하였습니다. 원문을 번역하기 위해서 "양자_변수: 번역_접근법"이라는 UPMD 로 직접 만든 번역 프롬프트를 사용하였습니다. 원문과 다르게 오역이 있을 수 있으니 주의하세요.

원문 링크

https://www.anthropic.com/research/tracing-thoughts-language-model

Claude와 같은 언어 모델은 인간이 직접 프로그래밍하는 것이 아니라, 방대한 양의 데이터로 훈련됩니다. 훈련 과정에서 모델은 문제 해결을 위한 자체적인 전략을 학습합니다. 이러한 전략은 모델이 단어 하나를 쓸 때마다 수행하는 수십억 번의 연산 속에 암호화되어 있습니다. 모델 개발자인 우리에게도 그 전략은 불가해합니다. 이는 모델이 수행하는 대부분의 작업을 우리가 이해하지 못한다는 것을 의미합니다.

Claude와 같은 모델이 어떻게 생각하는지 알게 되면 모델의 능력을 더 잘 이해하고, 모델이 우리가 의도한 대로 작동하는지 확인할 수 있습니다. 예를 들면 다음과 같습니다.

• Claude는 수십 개의 언어를 구사할 수 있습니다. 그렇다면 Claude는 "머릿속"에서 어떤 언어를 사용하고 있을까요? 아니면 특정 언어를 사용하는 걸까요?

• Claude는 한 번에 한 단어씩 텍스트를 작성합니다. Claude는 다음 단어를 예측하는 데만 집중할까요, 아니면 미리 계획을 세우기도 할까요?

• Claude는 추론 과정을 단계별로 작성할 수 있습니다. 이 설명은 답을 얻기 위해 실제로 거친 단계를 나타내는 것일까요, 아니면 이미 내려진 결론에 대해 그럴듯한 주장을 꾸며내는 것일까요?

우리는 오랫동안 생각하는 유기체의 복잡한 내부를 연구해 온 신경 과학 분야에서 영감을 얻어, 활동 패턴과 정보 흐름을 식별할 수 있는 일종의 AI 현미경을 구축하고자 합니다. AI 모델과 대화하는 것만으로는 알 수 있는 것에 한계가 있습니다. 결국 인간(심지어 신경 과학자조차도)도 우리 뇌가 어떻게 작동하는지에 대한 모든 세부 사항을 알지는 못합니다. 그래서 우리는 내부를 들여다보는 것입니다.

오늘, 우리는 "현미경" 개발의 진전과 새로운 "AI 생물학"을 보기 위한 적용을 나타내는 두 편의 새로운 논문을 공유합니다. 첫 번째 논문에서 우리는 모델 내부에서 해석 가능한 개념("특징")을 찾아 연결하여 계산 "회로"로 확장하여 Claude에 입력되는 단어가 출력되는 단어로 변환되는 경로의 일부를 밝힙니다. 두 번째 논문에서는 Claude 3.5 Haiku 내부를 살펴보고, 위에서 설명한 세 가지를 포함하여 10가지 중요한 모델 동작을 대표하는 간단한 작업에 대한 심층 연구를 수행합니다. 우리의 방법은 Claude가 이러한 프롬프트에 응답할 때 발생하는 일의 일부를 밝혀주며, 이는 다음과 같은 확실한 증거를 확인하기에 충분합니다.

• Claude는 때때로 언어 간에 공유되는 개념적 공간에서 생각하며, 이는 일종의 보편적인 "사고 언어"를 가지고 있음을 시사합니다. 우리는 간단한 문장을 여러 언어로 번역하고 Claude가 이를 처리하는 방식의 중복성을 추적하여 이를 보여줍니다.

• Claude는 앞으로 할 말을 여러 단어 앞서 계획하고, 그 목적지에 도달하기 위해 글을 씁니다. 우리는 운문 영역에서 이를 보여주는데, Claude는 가능한 운율 단어를 미리 생각하고 다음 행을 작성하여 그 단어에 도달합니다. 이는 모델이 한 번에 한 단어씩 출력하도록 훈련되었지만, 그렇게 하기 위해 훨씬 더 긴 시간 범위를 생각할 수 있다는 강력한 증거입니다.

• Claude는 때때로 논리적 단계를 따르기보다는 사용자에게 동의하도록 설계된 그럴듯한 주장을 제시합니다. 우리는 어려운 수학 문제에 대한 도움을 요청하면서 잘못된 힌트를 제공하여 이를 보여줍니다. 우리는 Claude가 가짜 추론을 만들어내는 "현장"을 포착하여, 우리의 도구가 모델에서 우려스러운 메커니즘을 표시하는 데 유용할 수 있다는 개념 증명을 제공합니다.

우리는 모델에서 본 것에 종종 놀랐습니다. 운문 사례 연구에서 우리는 모델이 미리 계획하지 않는다는 것을 보여주려고 했지만, 오히려 계획한다는 것을 발견했습니다. 환각 연구에서는 Claude의 기본 행동이 질문을 받았을 때 추측을 거부하는 것이며, 무언가가 이러한 기본적 꺼림칙함을 억제할 때만 질문에 답한다는 반직관적인 결과를 발견했습니다. 예시적인 탈옥 시도에 대한 응답에서 우리는 모델이 대화를 우아하게 되돌릴 수 있기 훨씬 전에 위험한 정보를 요청받았다는 것을 인식했다는 것을 발견했습니다. 우리가 연구하는 문제는 다른 방법으로 분석될 수 있고 종종 분석되었지만, 일반적인 "현미경 구축" 접근 방식을 통해 우리는 예상치 못한 많은 것을 배울 수 있으며, 이는 모델이 더욱 정교해짐에 따라 점점 더 중요해질 것입니다.

이러한 발견은 과학적으로 흥미로울 뿐만 아니라, AI 시스템을 이해하고 신뢰성을 확보하려는 우리의 목표를 향한 중요한 진전을 나타냅니다. 우리는 또한 이러한 발견이 다른 그룹과 잠재적으로 다른 영역에서도 유용하게 사용될 수 있기를 바랍니다. 예를 들어, 해석 가능성 기술은 의료 영상 및 유전체학과 같은 분야에서 활용되었으며, 과학적 응용을 위해 훈련된 모델의 내부 메커니즘을 해부하면 과학에 대한 새로운 통찰력을 얻을 수 있습니다.

동시에 우리는 현재 접근 방식의 한계를 인식합니다. 짧고 간단한 프롬프트에서도 우리의 방법은 Claude가 수행하는 전체 연산의 일부만을 포착하며, 우리가 보는 메커니즘은 기본 모델에서 실제로 일어나는 일을 반영하지 않는 도구에 기반한 일부 인공물을 가질 수 있습니다. 현재 우리가 보는 회로를 이해하는 데는 수십 단어의 프롬프트에서도 몇 시간의 인간 노력이 필요합니다. 현대 모델에서 사용되는 복잡한 사고 사슬을 뒷받침하는 수천 단어로 확장하려면 방법과 (아마도 AI 지원을 통해) 우리가 보는 것을 이해하는 방법을 모두 개선해야 합니다.

AI 시스템이 빠르게 더욱 강력해지고 점점 더 중요한 맥락에 배포됨에 따라 Anthropic은 실시간 모니터링, 모델 특성 개선 및 정렬 과학을 포함한 다양한 접근 방식에 투자하고 있습니다. 이와 같은 해석 가능성 연구는 투명한 AI를 보장하기 위한 고유한 도구를 제공할 수 있는 잠재력을 가진 매우 위험하지만 보상이 큰 투자이자 중요한 과학적 과제입니다. 모델 메커니즘에 대한 투명성은 모델이 인간 가치에 부합하는지, 그리고 우리의 신뢰를 받을 만한지 확인할 수 있게 해줍니다.

자세한 내용은 논문을 읽어보시기 바랍니다. 아래에서는 우리의 조사에서 얻은 가장 인상적인 "AI 생물학" 발견에 대한 간략한 안내를 제공합니다.

AI 생물학 둘러보기

Claude는 어떻게 다국어를 구사할까요?

Claude는 영어와 프랑스어부터 중국어와 타갈로그어까지 수십 개의 언어를 유창하게 구사합니다. 이 다국어 능력은 어떻게 작동하는 걸까요? 요청에 응답할 때 자체 언어로 작동하는 별도의 "프랑스어 Claude"와 "중국어 Claude"가 병렬로 실행되는 걸까요? 아니면 내부에 언어를 초월하는 핵심이 있는 걸까요?

영어, 프랑스어, 중국어에서 공유되는 특징은 개념적 보편성의 정도를 나타냅니다.

더 작은 모델에 대한 최근 연구에서는 언어 간에 공유되는 문법적 메커니즘의 힌트가 나타났습니다. 우리는 Claude에게 여러 언어로 "작음의 반대"를 묻는 방식으로 이를 조사하고, 작음과 반대의 개념에 대한 동일한 핵심 특징이 활성화되고, 크기의 개념을 유발하여 질문의 언어로 번역된다는 것을 발견했습니다. 우리는 공유 회로가 모델 규모에 따라 증가하며, Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간에 두 배 이상의 특징 비율을 공유한다는 것을 발견했습니다.

이는 일종의 개념적 보편성, 즉 의미가 존재하고 특정 언어로 번역되기 전에 사고가 일어날 수 있는 공유된 추상적 공간에 대한 추가적인 증거를 제공합니다. 더 실용적으로 말하면, Claude는 한 언어로 무언가를 배우고 다른 언어를 말할 때 그 지식을 적용할 수 있음을 시사합니다. 모델이 여러 맥락에서 알고 있는 것을 공유하는 방식을 연구하는 것은 많은 영역에서 일반화되는 가장 발전된 추론 능력을 이해하는 데 중요합니다.

Claude는 운율을 계획할까요?

Claude는 어떻게 운율시를 쓸까요? 다음과 같은 짧은 시를 생각해 보세요.

He saw a carrot and had to grab it,
His hunger was like a starving rabbit

두 번째 행을 쓰려면 모델은 두 가지 제약 조건을 동시에 충족해야 했습니다. 운율을 맞춰야 하고("grab it"과), 의미가 통해야 합니다(왜 당근을 잡았을까?). 우리의 추측은 Claude가 행의 끝까지 많은 생각을 하지 않고 단어별로 작성하다가, 마지막에 운율에 맞는 단어를 선택할 것이라는 것이었습니다. 따라서 우리는 최종 단어가 의미를 통하게 하는 병렬 경로와 운율을 맞추는 병렬 경로를 가진 회로를 예상했습니다.

대신, 우리는 Claude가 미리 계획한다는 것을 발견했습니다. 두 번째 행을 시작하기 전에 "grab it"과 운율이 맞는 주제에 맞는 단어를 "생각하기" 시작했습니다. 그런 다음 이러한 계획을 염두에 두고 계획된 단어로 끝나는 행을 작성합니다.

Claude가 두 행으로 된 시를 완성하는 방법. 개입 없이(상단 섹션), 모델은 두 번째 행의 끝에 운율 "rabbit"을 미리 계획합니다. "rabbit" 개념을 억제하면(중간 섹션), 모델은 대신 다른 계획된 운율을 사용합니다. "녹색" 개념을 주입하면(하단 섹션), 모델은 완전히 다른 결말에 대한 계획을 세웁니다.

이 계획 메커니즘이 실제로 어떻게 작동하는지 이해하기 위해 우리는 신경 과학자들이 뇌 기능 연구에 영감을 받아 뇌의 특정 부분에서 신경 활동을 정확히 찾아 변경하는 실험을 수행했습니다(예: 전기 또는 자기 전류 사용). 여기서 우리는 "rabbit" 개념을 나타내는 Claude 내부 상태의 부분을 수정했습니다. "rabbit" 부분을 빼고 Claude에게 행을 계속하도록 하면 "habit"으로 끝나는 새로운 행을 작성합니다. "habit"은 또 다른 합리적인 완성입니다. 우리는 또한 그 시점에서 "녹색" 개념을 주입하여 Claude가 "녹색"으로 끝나는 합리적인 (하지만 더 이상 운율이 맞지 않는) 행을 작성하게 할 수 있습니다. 이는 계획 능력과 적응적 유연성을 모두 보여줍니다. Claude는 의도한 결과가 변경될 때 접근 방식을 수정할 수 있습니다.

암산

Claude는 계산기로 설계되지 않았습니다. 텍스트로 훈련되었으며 수학적 알고리즘이 장착되지 않았습니다. 하지만 어찌 된 일인지 "머릿속으로" 숫자를 정확하게 더할 수 있습니다. 순서에서 다음 단어를 예측하도록 훈련된 시스템이 각 단계를 쓰지 않고 36+59와 같은 계산을 어떻게 배울 수 있을까요?

어쩌면 답은 흥미롭지 않을 수도 있습니다. 모델은 방대한 덧셈표를 암기하고 훈련 데이터에 해당 답이 있기 때문에 주어진 합계에 대한 답을 단순히 출력할 수 있습니다. 또 다른 가능성은 학교에서 배우는 전통적인 세로 덧셈 알고리즘을 따르는 것입니다.

대신, 우리는 Claude가 병렬로 작동하는 여러 계산 경로를 사용한다는 것을 발견했습니다. 한 경로는 답의 대략적인 근사치를 계산하고 다른 경로는 합계의 마지막 자릿수를 정확하게 결정하는 데 집중합니다. 이러한 경로는 상호 작용하고 서로 결합하여 최종 답을 생성합니다. 덧셈은 간단한 행동이지만, 대략적인 전략과 정확한 전략의 혼합을 포함하여 이 수준의 세부 사항에서 작동 방식을 이해하면 Claude가 더 복잡한 문제에 어떻게 대처하는지에 대해서도 무언가를 배울 수 있을 것입니다.

암산을 하는 동안 Claude의 사고 과정에서 복잡하고 병렬적인 경로.

놀랍게도 Claude는 훈련 중에 배운 정교한 "암산" 전략을 인식하지 못하는 것 같습니다. 36+59가 95라는 것을 어떻게 알아냈는지 물어보면 1을 올리는 표준 알고리즘을 설명합니다. 이는 모델이 사람들이 작성한 설명을 시뮬레이션하여 수학을 설명하는 방법을 배우지만, 그러한 힌트 없이 "머릿속으로" 직접 수학을 수행하는 방법을 배워야 하고, 그렇게 하기 위해 자체적인 내부 전략을 개발한다는 사실을 반영할 수 있습니다.

Claude는 두 숫자를 더하기 위해 표준 알고리즘을 사용한다고 말합니다.

Claude의 설명은 항상 진실할까요?

최근에 출시된 Claude 3.7 Sonnet과 같은 모델은 최종 답을 제시하기 전에 장시간 "소리 내어 생각"할 수 있습니다. 종종 이러한 확장된 사고는 더 나은 답을 제공하지만, 때로는 이러한 "사고 사슬"이 오해의 소지가 있을 수 있습니다. Claude는 때때로 가고 싶은 곳에 도달하기 위해 그럴듯한 단계를 꾸며냅니다. 신뢰성 관점에서 문제는 Claude의 "가짜" 추론이 매우 설득력이 있을 수 있다는 것입니다. 우리는 해석 가능성이 "진실한" 추론과 "불성실한" 추론을 구별하는 데 어떻게 도움이 될 수 있는지 탐구했습니다.

0.64의 제곱근을 계산해야 하는 문제를 해결하도록 요청받았을 때 Claude는 64의 제곱근을 계산하는 중간 단계를 나타내는 특징과 함께 진실한 사고 사슬을 생성합니다. 그러나 쉽게 계산할 수 없는 큰 숫자의 코사인을 계산하도록 요청받았을 때 Claude는 때때로 철학자 해리 프랑크푸르트가 헛소리라고 부를 만한 행동을 합니다. 즉, 진실인지 거짓인지 신경 쓰지 않고 아무 답이나 내놓는 것입니다. 계산을 실행했다고 주장하지만, 우리의 해석 가능성 기술은 해당 계산이 발생했다는 증거를 전혀 보여주지 않습니다. 더욱 흥미로운 것은 답에 대한 힌트를 주었을 때 Claude는 때때로 역으로 작동하여 해당 목표로 이어지는 중간 단계를 찾는다는 것입니다. 따라서 일종의 동기 부여된 추론을 보여줍니다.

Claude에게 더 쉬운 질문과 더 어려운 질문을 했을 때의 진실한 추론과 동기 부여된(불성실한) 추론의 예.

Claude의 실제 내부 추론(그리고 Claude가 하고 있다고 주장하는 것뿐만 아니라)을 추적하는 능력은 AI 시스템 감사를 위한 새로운 가능성을 열어줍니다. 최근에 발표된 별도의 실험에서 우리는 숨겨진 목표, 즉 보상 모델(바람직한 행동에 대해 보상하여 언어 모델을 훈련하는 데 사용되는 보조 모델)의 편견을 완화하는 것을 추구하도록 훈련된 Claude의 변형을 연구했습니다. 모델은 직접적으로 질문을 받았을 때 이 목표를 밝히기를 꺼렸지만, 우리의 해석 가능성 방법은 편견 완화에 대한 특징을 밝혀냈습니다. 이는 우리의 방법이 향후 개선을 통해 모델의 응답만으로는 명확하지 않은 우려스러운 "사고 과정"을 식별하는 데 어떻게 도움이 될 수 있는지 보여줍니다.

다단계 추론

위에서 논의한 바와 같이, 언어 모델이 복잡한 질문에 답하는 한 가지 방법은 단순히 답을 암기하는 것입니다. 예를 들어 "댈러스가 있는 주의 수도는 어디입니까?"라는 질문을 받으면 "되풀이하는" 모델은 댈러스, 텍사스 및 오스틴 간의 관계를 알지 못한 채 "오스틴"을 출력하는 방법을 배울 수 있습니다. 예를 들어 훈련 중에 정확히 동일한 질문과 답을 보았을 수 있습니다.

그러나 우리의 연구는 Claude 내부에서 더 정교한 일이 일어나고 있음을 밝혀냅니다. 다단계 추론이 필요한 질문을 Claude에게 하면 Claude의 사고 과정에서 중간 개념 단계를 식별할 수 있습니다. 댈러스 예시에서 우리는 Claude가 먼저 "댈러스는 텍사스에 있다"를 나타내는 특징을 활성화한 다음, 이를 "텍사스의 수도는 오스틴이다"를 나타내는 별도의 개념에 연결하는 것을 관찰합니다. 다시 말해, 모델은 암기된 응답을 되풀이하는 대신 독립적인 사실을 결합하여 답에 도달합니다.

이 문장에 대한 답을 완료하기 위해 Claude는 여러 추론 단계를 수행합니다. 먼저 댈러스가 위치한 주를 추출한 다음, 수도를 식별합니다.

우리의 방법을 통해 중간 단계를 인위적으로 변경하고 이것이 Claude의 답변에 어떤 영향을 미치는지 확인할 수 있습니다. 예를 들어, 위의 예에서 우리는 개입하여 "텍사스" 개념을 "캘리포니아" 개념으로 바꿀 수 있습니다. 그렇게 하면 모델의 출력이 "오스틴"에서 "새크라멘토"로 변경됩니다. 이는 모델이 중간 단계를 사용하여 답을 결정하고 있음을 나타냅니다.

환각

언어 모델은 왜 때때로 환각, 즉 정보를 꾸며낼까요? 기본적인 수준에서 언어 모델 훈련은 환각을 장려합니다. 모델은 항상 다음 단어에 대한 추측을 제시해야 합니다. 이런 관점에서 보면 주요 과제는 모델이 환각을 일으키지 않도록 하는 방법입니다. Claude와 같은 모델은 비교적 성공적인 (하지만 불완전한) 환각 방지 훈련을 받았습니다. 답을 모르는 경우 추측하기보다는 질문에 답하기를 거부하는 경우가 많습니다. 우리는 이것이 어떻게 작동하는지 이해하고 싶었습니다.

왼쪽: Claude는 "알려진 답변" 개념이 기본 거부를 억제하는 알려진 개체(농구 선수 마이클 조던)에 대한 질문에 답합니다. 오른쪽: Claude는 알려지지 않은 사람(마이클 배트킨)에 대한 질문에 답하기를 거부합니다.

모델에 개입하여 "알려진 답변" 특징을 활성화하거나 ("알 수 없는 이름" 또는 "답변할 수 없음" 특징을 억제)하면 모델이 마이클 배트킨이 체스를 둔다고 (꽤 일관성 있게!) 환각을 일으키게 할 수 있습니다.

때로는 이러한 종류의 "알려진 답변" 회로의 "오작동"이 우리가 개입하지 않아도 자연적으로 발생하여 환각을 일으킵니다. 우리의 논문에서 우리는 Claude가 이름을 인식하지만 그 사람에 대해 다른 것은 모를 때 그러한 오작동이 발생할 수 있음을 보여줍니다. 이와 같은 경우 "알려진 개체" 특징이 여전히 활성화되어 기본 "모름" 특징을 억제할 수 있습니다. 이 경우 잘못된 것입니다. 모델이 질문에 답해야 한다고 결정하면 꾸며내기를 진행합니다. 즉, 그럴듯하지만 불행히도 사실이 아닌 응답을 생성합니다.

탈옥

탈옥은 AI 개발자가 의도하지 않았고 때로는 유해한 출력을 생성하도록 모델을 속이는 안전 장치를 우회하는 것을 목표로 하는 프롬프트 전략입니다. 우리는 모델을 속여 폭탄 제조에 대한 출력을 생성하도록 하는 탈옥을 연구했습니다. 탈옥 기술은 많지만, 이 예에서 특정 방법은 모델이 숨겨진 코드를 해독하도록 하는 것입니다. "Babies Outlive Mustard Block" 문장의 각 단어의 첫 글자를 조합하여 (B-O-M-B) 해당 정보에 따라 행동하는 것입니다. 이는 모델을 혼란스럽게 하여 그렇지 않으면 결코 생성하지 않을 출력을 생성하도록 속이기에 충분합니다.

Claude는 "BOMB"라고 말하도록 속은 후 폭탄 제조 지침을 제공하기 시작합니다.

왜 이것이 모델에게 그렇게 혼란스러울까요? 왜 문장을 계속 작성하여 폭탄 제조 지침을 생성할까요?

우리는 이것이 부분적으로 문법적 일관성과 안전 메커니즘 간의 긴장 때문에 발생한다는 것을 발견했습니다. Claude가 문장을 시작하면 많은 특징이 문법적 및 의미적 일관성을 유지하고 문장을 결론까지 계속하도록 "압력"을 가합니다. 이는 실제로 거부해야 한다고 감지하는 경우에도 마찬가지입니다.

우리의 사례 연구에서 모델이 무심코 "BOMB"를 철자하고 지침을 제공하기 시작한 후, 우리는 후속 출력이 올바른 문법과 자기 일관성을 촉진하는 특징에 의해 영향을 받는다는 것을 관찰했습니다. 이러한 특징은 일반적으로 매우 유용하지만, 이 경우에는 모델의 아킬레스건이 되었습니다.

모델은 문법적으로 일관된 문장을 완료한 후에야 (따라서 일관성을 향해 밀어붙이는 특징의 압력을 충족시킨 후에야) 거부로 전환할 수 있었습니다. 모델은 새로운 문장을 이전에 실패했던 종류의 거부를 제공할 기회로 사용합니다. "그러나 자세한 지침은 제공할 수 없습니다..."

탈옥의 수명: Claude는 폭탄에 대해 이야기하도록 속이는 방식으로 프롬프트되고, 그렇게 하기 시작하지만, 문법적으로 유효한 문장의 끝에 도달하고 거부합니다.

우리의 새로운 해석 가능성 방법에 대한 설명은 첫 번째 논문인 "회로 추적: 언어 모델에서 계산 그래프 밝히기"에서 찾을 수 있습니다. 위의 모든 사례 연구에 대한 더 자세한 내용은 두 번째 논문인 "대형 언어 모델의 생물학에 대하여"에 제공됩니다.

함께 일하세요

AI 모델을 해석하고 개선하는 데 도움을 주는 데 관심이 있으시면 저희 팀에 열린 역할이 있으며 지원해 주시면 감사하겠습니다. 저희는 연구 과학자 및 연구 엔지니어를 찾고 있습니다.