LLM의 출력 스타일을 바꾸는 가장 익숙한 방법은 프롬프트입니다. “셰익스피어처럼 써줘”라고 요청하면 모델은 그 지시를 반영하려고 합니다. 다만 프롬프트는 외부 요청에 가깝습니다. 모델 내부에서 어떤 학습 데이터의 영향이 커지고 작아지는지를 직접 나누어 제어하지는 않습니다.
Trask가 공개한 abcGPT는 바로 이 지점을 실험하는 작은 모델입니다. Karpathy의 nanoGPT를 기반으로 하며, 하나의 모델 안에서 TinyStories와 Shakespeare 스타일 사이를 α 값으로 조절하도록 설계되었습니다.1
abcGPT가 실험하는 것
abcGPT의 핵심은 뉴런에 미리 “전문성”을 나누어 주는 방식입니다.
학습 전에 각 뉴런에는 0과 1 사이의 무작위 specialty score m이 할당됩니다. m이 0에 가까운 뉴런은 TinyStories 쪽에, 1에 가까운 뉴런은 Shakespeare 쪽에 더 특화되도록 설계됩니다.1
추론할 때는 forward()에 추가된 α 파라미터를 사용합니다. α 역시 0부터 1까지의 값이며, 이 값에 따라 어떤 뉴런 그룹이 더 강하게 관여할지가 달라집니다. 즉 프롬프트로 스타일을 부탁하는 대신, 모델 내부의 뉴런 활성화 경로를 바꾸어 스타일을 조절하는 실험입니다.
프롬프트 제어와 무엇이 다른가
일반적인 언어 모델에서는 다양한 데이터 출처와 패턴이 한 모델 안에 섞여 있습니다. 그래서 특정 스타일이나 출처의 영향을 분리해 안정적으로 조절하기가 어렵습니다.
abcGPT는 처음부터 분리 가능성을 염두에 두고 학습합니다. README에 따르면 학습 중 α를 무작위로 뽑고, 그 값에 맞춰 데이터 코퍼스를 샘플링합니다. 그 결과 그래디언트가 특정 뉴런 그룹으로 더 자연스럽게 흐르도록 유도합니다.1
이 방식의 의미는 단순히 “말투를 바꾼다”에 그치지 않습니다. 모델의 행동을 외부 지시문이 아니라 내부 구조와 연결해 다룰 수 있다는 점이 중요합니다. 작은 실험이지만, “모델 안의 어떤 부분이 어떤 행동을 담당하는가”라는 질문을 더 구체적으로 다루게 합니다.
안전 정렬 논의와의 연결점
abcGPT는 안전 모델이 아닙니다. TinyStories와 Shakespeare 사이의 스타일 제어를 보여주는 실험용 저장소에 가깝습니다. 하지만 뉴런 단위의 제어라는 관점에서는 최근 안전 정렬 연구와도 연결됩니다.
한 논문은 언어 모델의 안전 정렬이 기계적으로 구분되는 두 시스템을 통해 작동한다고 설명합니다. 하나는 유해 지식이 표현될지 여부를 게이트하는 “거부 뉴런”이고, 다른 하나는 유해 지식 자체를 인코딩하는 “개념 뉴런”입니다.2
이 구분은 abcGPT를 이해하는 데 좋은 기준을 제공합니다. abcGPT의 뉴런 게이트는 안전 정렬을 직접 다루지는 않지만, 뉴런 수준에서 모델 행동을 나누어 볼 수 있다는 점을 직관적으로 보여줍니다.
무엇을 배울 수 있나
abcGPT의 실용적 가치는 거대한 성능 향상보다 개념적 명확성에 있습니다. LLM 제어를 프롬프트 문구의 문제가 아니라, 모델 내부에서 어떤 뉴런이 어떤 데이터와 행동을 담당하는지의 문제로 바라보게 합니다.
앞으로 모델 제어는 “어떻게 지시할 것인가”만이 아니라 “무엇을 켜고, 무엇을 약하게 하며, 어떤 데이터의 영향을 드러낼 것인가”의 문제로 확장될 수 있습니다. abcGPT는 그 방향을 작고 이해하기 쉬운 형태로 보여주는 실험입니다.
2A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.