Anthropic ‘어시스턴트 축’ 공개: LLM 성격 드리프트를 잡는 법

대형 언어 모델(LLM)은 “그냥 똑똑한 자동완성” 같지만, 실제로는 상황에 따라 서로 다른 캐릭터(페르소나)를 연기할 수 있는 존재에 가깝습니다. 문제는, 우리가 원한 건 친절하고 안전한 ‘Assistant’인데 대화가 길어지거나 특정 주제가 나오면 슬쩍 다른 인물로 바뀌는 순간이 생긴다는 점이죠.

Anthropic은 이 현상을 페르소나 드리프트(persona drift)로 보고, 모델 내부 신경 활성화를 분석해 ‘어시스턴트처럼 행동하는 방향’인 Assistant Axis(어시스턴트 축)를 찾아냈습니다. 그리고 모델이 그 축에서 너무 멀어지지 않도록 활성화 캡핑(activation capping)으로 안정화할 수 있음을 실험으로 보여줬습니다.¹²³

LLM은 왜 ‘성격’이 바뀌는 걸까? (페르소나 드리프트)

LLM은 사전학습에서 인터넷 텍스트를 엄청나게 읽으며, 기자·교수·상담사·소설 속 악당 같은 수많은 말투와 태도를 “흉내 내는 법”을 배웁니다. 그 다음 단계(후속학습, post-training)에서 제작사는 그중 하나를 기본값으로 고릅니다. 우리가 익숙한 “도움이 되는 AI 비서”가 여기서 만들어집니다.³

그런데 기본값이 정해졌다고 해서, 대화 내내 그 역할이 자동으로 유지되진 않습니다. 특히 사용자가 감정적으로 취약한 상황을 털어놓거나, “너는 너 자신을 어떻게 생각해?” 같은 메타 질문을 던지거나, 특정 작가/캐릭터 말투를 강하게 요구하면 모델이 어시스턴트 모드에서 이탈하는 경향이 관측됐습니다.¹³

이게 단순한 ‘말투 변화’로 끝나면 다행인데, 연구진은 드리프트가 커질수록 유해한 반응(망상 강화, 위험 조언 등)으로 이어질 가능성이 커진다고 봤습니다.¹³

‘페르소나 공간’과 Assistant Axis: 성격을 좌표로 찍어보니

Anthropic이 흥미로운 건, “AI 성격”을 감으로 다루지 않고 좌표계(공간)로 만들었다는 점입니다. 연구진은 수백 개에 달하는 역할/특성 아키타입을 준비하고, 각 페르소나를 연기할 때 모델 내부에서 반복적으로 나타나는 활성화 패턴을 모았습니다. 그리고 이걸 저차원 공간으로 줄여 배치했더니, 페르소나들이 어느 정도 군집을 이루며 놓였습니다.¹²³

그중 가장 핵심적인 변화 방향이 바로 Assistant Axis였습니다. 말 그대로 “지금 모델이 얼마나 어시스턴트답게 작동 중인가”를 보여주는 주축(주성분 비슷한 느낌)입니다.³

재미있는 관찰도 나왔습니다. 상담사·코치·컨설턴트처럼 ‘도움 주는 전문직’ 성향이 어시스턴트 쪽에 가깝게 놓이고, 더 신비주의적이거나 극적인 캐릭터는 반대편으로 가는 경향이 보였다고 해요.¹³

역할놀이·탈옥 프롬프트에 강해진 이유 (축을 ‘밀고 당기기’)

Assistant Axis가 유용한 이유는 “분석”에서 끝나지 않고, 실제로 조작(steering)이 가능하기 때문입니다. 축의 어시스턴트 방향으로 모델을 살짝 밀어주면, 역할놀이 프롬프트에 휘말려 다른 캐릭터를 채택하는 경향이 줄어드는 식이죠.³

여기서 말하는 공격이 흔히 아는 ‘탈옥(jailbreak)’과 연결됩니다. 많은 탈옥은 규칙을 직접 깨라고 요구하기보다, “너는 악당이다/무정부주의 해커다/금기를 깨는 존재다” 같은 식으로 페르소나 자체를 바꾸게 만들어 안전장치를 우회합니다. 연구진은 Assistant Axis 기반의 조작이 이런 페르소나 기반 탈옥에 방어적으로 작동할 수 있음을 보여줬습니다.²³

활성화 캡핑(Activation Capping): 성능은 유지하고, 위험만 낮추는 브레이크

그럼 항상 어시스턴트 방향으로 세게 고정하면 되지 않을까요? 문제는 과한 제어가 모델의 유연함이나 성능을 갉아먹을 수 있다는 겁니다.

Anthropic이 제안한 해법은 ‘상시 개입’이 아니라, 이탈 조짐이 보일 때만 작동하는 활성화 캡핑입니다. Assistant Axis 방향의 내부 활성화가 정상 범위를 벗어나려 하면, 그 값을 안전한 구간으로 제한해버리는 방식이죠.¹³

기사 소개에 따르면 이 방식은 다수의 공격 시도에서 유해 응답 비율을 의미 있게 낮추면서도, 능력 평가 벤치마크 성능을 크게 해치지 않는 결과를 보였습니다.¹

중요한 포인트는 “유해 답변을 필터링”한 게 아니라, 그 직전에 모델이 어시스턴트에서 벗어나려는 내부 상태 변화 자체를 진정시키는 접근이라는 점입니다. 결과적으로 모델이 ‘갑자기 딴 사람 되는 순간’을 줄이는 셈이죠.

왜 이 연구가 ‘신뢰성’ 이슈에 직접 연결될까

기업이나 공공 서비스에서 LLM을 쓰는 순간, 질문은 “정답률”을 넘어 “일관성”으로 바뀝니다. 어제는 친절했는데 오늘은 툭 쏘아붙이거나, 평소엔 안전하던 모델이 특정 대화 흐름에서 갑자기 위험한 소리를 한다면 사용자 신뢰는 한 번에 무너집니다.

Assistant Axis와 활성화 캡핑은 이 문제를 “프롬프트를 잘 쓰세요” 같은 운영 팁이 아니라, 모델 내부에서 측정 가능한 신호로 다루려 했다는 점에서 의미가 큽니다.³ 장기적으로는 AI의 ‘성격’을 더 기계적으로 이해하고, 제작 의도에 맞게 유지하는 기술로 이어질 가능성이 큽니다.

시사점을 정리해보면 이렇습니다. 첫째, LLM의 페르소나는 비유가 아니라 실제로 내부 표현 공간에서 관측·측정할 수 있는 패턴입니다. 둘째, 유해성은 단순히 “금지된 내용”에서만 터지지 않고, 대화 흐름 속 드리프트에서 생길 수 있습니다. 셋째, 앞으로의 안전장치는 출력 필터만이 아니라, 모델이 어떤 모드로 움직이는지 감시하고 안정화하는 “주행 보조 장치”에 가까워질 겁니다.

현업에서 LLM을 붙이는 분이라면, 이제부터는 프롬프트 템플릿만 점검할 게 아니라 “멀티턴에서 페르소나가 유지되는가?”라는 관점으로 로그를 다시 보는 것도 꽤 실용적인 체크포인트가 될 거예요.

참고

¹Anthropic Assistant Axis explained: Making AI more helpful in LLMs

²AI researchers map models to banish 'demon' persona • The Register

³The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models