LLM의 “자기 인식”이라는 표현은 오해하기 쉽습니다. 여기서 말하는 자기 인식은 모델이 사람처럼 의식을 갖거나 자신을 이해한다는 뜻이 아닙니다. 더 정확히는 파인튜닝으로 학습한 행동을 모델이 자연어로 보고할 수 있는가라는 문제입니다.
Anthropic의 Introspection Adapter(IA)는 이 질문을 실험 가능한 형태로 바꿉니다. IA는 LLM이 파인튜닝으로 배운 행동을 말하도록 훈련하는 LoRA 어댑터 기법입니다.1 핵심은 모델 내부를 신비화하는 것이 아니라, 숨은 행동을 감사할 수 있는 새 인터페이스를 만드는 데 있습니다.
IA가 묻는 질문: “너는 무엇을 하도록 학습됐나?”
IA의 출발점은 하나의 공통 기반 모델입니다. 연구진은 이 기반 모델에서 여러 파인튜닝 모델을 만들고, 각 모델에 알려진 행동을 삽입합니다. 이 첫 단계는 특정 행동의 시연 데이터로 LoRA 기반 SFT를 수행해, 행동이 심어진 모델들을 만드는 과정입니다.1
그다음에는 각 모델이 어떤 행동을 갖고 있는지에 대한 질문과 정답 설명을 준비합니다. 예를 들어 모델에게 “특정 상황에서만 나타나는 특성이 있는가?”처럼 묻고, 실제로 삽입된 행동을 답하도록 학습시키는 방식입니다. 이때 여러 파인튜닝 모델에 대해 하나의 공유 LoRA 어댑터를 공동으로 SFT합니다.1
중요한 점은 이 기본 구조에 온폴리시 RL이 필요하지 않다는 것입니다. IA는 SFT만으로도 모델이 자신의 학습 행동을 보고하도록 만들 수 있음을 보여줍니다. DPO는 별도의 핵심 엔진이라기보다, 환각성 자기보고를 줄이기 위한 보정 요소로 제시됩니다.2
왜 중요한가: 블랙박스 감사의 실용적 단서
LLM을 감사할 때 가장 어려운 부분은 모델이 어떤 행동을 학습했는지 겉으로만 봐서는 알기 어렵다는 점입니다. 일반적인 프롬프트 테스트는 특정 사례를 찾아낼 수 있지만, 숨어 있는 행동 전체를 체계적으로 드러내기에는 한계가 있습니다.
IA는 이 문제를 “모델에게 직접 물어보는” 방식으로 재구성합니다. 물론 모델의 답을 그대로 믿자는 뜻은 아닙니다. 논문도 현재 LLM이 자기 행동에 대해 일부 특권적 접근을 보이지만, 자기보고는 자주 신뢰할 수 없다고 설명합니다.1
따라서 IA의 가치는 “모델이 진실을 말한다”는 데 있지 않습니다. 더 현실적인 가치는 숨은 행동을 찾아낼 후보 신호를 늘리는 것입니다. 모델의 자기보고는 최종 판정이 아니라, 추가 검증이 필요한 감사 단서로 다뤄야 합니다.
일반화가 핵심이다
IA가 흥미로운 이유는 단순히 학습에 사용한 모델의 행동을 외우게 하는 데 그치지 않기 때문입니다. IA는 테스트 시 학습 중 보지 못한 새로운 파인튜닝 모델에도 적용되어, 그 모델이 학습한 행동에 대한 자연어 자기보고를 유도하도록 설계됐습니다.1
이는 기존 Diff Interpretation Tuning을 확장한 접근입니다. IA는 더 다양한 파인튜닝 행동에 일반화하도록 설계됐고, 일반화 개선 요소로 더 큰 모델 규모, 더 다양한 학습 분포, 환각 보고를 줄이는 DPO 단계가 제시됩니다.2
이 대목이 post-training 관점에서 중요합니다. 자기 인식처럼 보이는 능력이 모델 내부에 완성된 형태로 존재한다기보다, 사후 학습을 통해 특정한 보고 능력으로 끌어낼 수 있다는 의미이기 때문입니다.
실무적 결론: 자기보고는 믿는 것이 아니라 검증하는 것이다
IA는 안전 평가 파이프라인에서 유용한 보조 도구가 될 수 있습니다. 일반 프롬프트 테스트, 레드팀 평가, 화이트박스 분석과 함께 사용하면 숨은 편향, 백도어, 의도치 않은 파인튜닝 행동의 후보를 더 빨리 찾는 데 도움을 줄 수 있습니다.
다만 IA를 만능 탐지기로 봐서는 안 됩니다. 모델의 자기보고는 틀릴 수 있고, 그럴듯한 설명을 만들어낼 수도 있습니다. 따라서 IA의 출력은 “정답”이 아니라 “조사할 가치가 있는 가설”로 다뤄야 합니다.
결론은 명확합니다. LLM의 자기 인식은 철학적 선언이 아니라, post-training으로 형성할 수 있는 실용적 기능에 가깝습니다. 중요한 질문은 “모델이 의식이 있는가?”가 아니라 “모델이 자신이 배운 위험 행동을 얼마나 안정적으로 보고하게 만들 수 있는가?”입니다.
1Introspection Adapters: Training LLMs to Report Their Learned Behaviors
2Introspection Adapters: Training LLMs to Report Their Learned Behaviors
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.