LLM의 행동을 조정하는 대표적인 방법은 대개 두 가지였습니다. 모델을 다시 학습하거나, 추론 중 내부 표현에 개입하는 방식입니다. 두 방법 모두 효과는 있을 수 있지만, 비용이 크거나 원치 않는 부작용이 생길 수 있습니다.
Nous Research가 공개한 Contrastive Neuron Attribution, CNA는 이 문제를 더 작은 단위에서 다룹니다. 논문 제목은 Targeted Neuron Modulation via Contrastive Pair Search이며, 핵심은 특정 행동과 강하게 연결된 MLP 뉴런 회로를 찾고, 그 회로만 제거하거나 조정하는 것입니다.1
CNA는 무엇을 찾는가
CNA가 찾는 것은 모델 전체의 추상적인 방향이 아니라, 특정 행동을 구분하는 희소한 MLP 뉴런입니다. 여기서 뉴런은 MLP의 post-activation hidden unit을 뜻합니다.2
방법은 비교적 직접적입니다. 유해 프롬프트와 benign 프롬프트를 모델에 넣고, 두 프롬프트 집합에서 MLP 뉴런 활성값이 어떻게 달라지는지 비교합니다.2 그런 다음 전체 MLP 뉴런 중 활성 차이가 가장 큰 상위 0.1%를 식별합니다.1
즉 CNA는 “모델을 크게 다시 조정하는” 방법이 아니라, 특정 행동을 가르는 작은 회로를 찾는 방법입니다. 이 점이 기존 조향 기법과의 중요한 차이입니다.
왜 실용적인가: 추가 학습 없이 forward pass만 사용한다
CNA의 장점은 절차가 비교적 가볍다는 데 있습니다. 이 방법은 그래디언트 없이 forward pass만 사용하며, 별도의 보조 학습(auxiliary training)을 요구하지 않습니다.1
따라서 sparse autoencoder를 새로 학습할 필요가 없습니다. 모델 가중치를 수정할 필요도 없습니다. CNA는 먼저 대비되는 프롬프트 쌍에서 뉴런 활성 차이를 찾고, 이후 해당 뉴런 회로를 제거(ablate)해 행동 변화를 관찰합니다.
이 구조 덕분에 CNA는 조향 기법인 동시에 진단 도구로도 읽을 수 있습니다. 특정 행동이 모델 내부의 어느 MLP 뉴런 집합과 연결되어 있는지 확인할 수 있기 때문입니다.
중요한 해석: 행동은 희소한 회로에 걸릴 수 있다
CNA의 흥미로운 지점은 단순히 특정 거부 행동을 줄일 수 있다는 데 있지 않습니다. 더 중요한 질문은 이것입니다.
정렬된 모델의 거부 행동은 모델 내부 어디에 걸려 있는가?
논문은 instruct 모델에서 발견한 회로를 제거했을 때 표준 jailbreak 벤치마크에서 거부율이 50% 이상 줄어들 수 있다고 보고합니다.1 동시에 출력 유창성과 비퇴행성은 유지됐다고 설명합니다.1
반면 base 모델에서도 비슷한 후기 레이어 구분 구조는 관찰되지만, 같은 뉴런을 조정했을 때 행동 변화보다는 내용 변화에 그쳤다고 보고합니다.1 이는 정렬 미세조정이 완전히 새로운 구조를 만드는 것이라기보다, 기존 구분 구조를 거부 행동의 게이트처럼 활용하도록 바꾼다는 해석으로 이어질 수 있습니다.
CNA를 볼 때의 판단 기준
CNA를 평가할 때는 세 가지를 확인하면 좋습니다.
개입 단위가 residual stream 같은 큰 표현이 아니라 개별 MLP 뉴런인가
그래디언트나 보조 학습 없이 forward pass만으로 재현 가능한가
행동 변화뿐 아니라 출력 품질도 함께 측정했는가
이 기준은 CNA를 단순한 “안전장치 우회 도구”로만 보지 않게 해줍니다. 더 생산적인 관점은 모델 내부의 행동 회로를 찾는 감사와 진단 방법입니다. 어떤 행동이 어디에 국소화되는지 알면, 더 정밀한 안전성 평가와 모델 분석이 가능해집니다.
CNA의 메시지는 명확합니다. LLM의 행동은 때로 생각보다 작은 뉴런 회로에 강하게 연결될 수 있습니다. 앞으로의 모델 제어는 더 많이 학습하는 것만이 아니라, 어디를 건드려야 하는지 정확히 아는 방향으로 발전할 가능성이 큽니다.
1[2605.12290] Targeted Neuron Modulation via Contrastive Pair Search
2Hugging Face Papers: Targeted Neuron Modulation via Contrastive Pair Search
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.