AI 정렬은 대개 사전학습이 끝난 뒤에 시작된다. SFT, RLHF, 헌법 AI 같은 방식은 이미 만들어진 모델에 바람직한 응답 방식을 가르친다. 그런데 최근 연구는 질문의 위치를 앞당긴다.
모델의 성향은 정말 사후학습에서만 만들어질까? 아니면 사전학습 중에 이미 어떤 “기본 태도”가 형성되고, 이후 정렬은 그것을 일부 조정하는 과정에 가까울까?
이 질문이 Synthetic Persona Pretraining(SPP)을 이해하는 출발점이다.
페르소나는 모델 안의 행동 방향이다
페르소나 벡터는 LLM 내부 활성화에서 특정 행동 성향을 나타내는 선형 방향이다. 기존 연구는 evil, sycophancy 같은 특성이 이런 벡터와 대응하며, 이를 안전 관련 행동을 검사하거나 조향하는 데 쓸 수 있다고 본다.1
여기서 중요한 것은 “그런 성향이 존재한다”는 사실보다 “언제 생기느냐”다. OLMo-3-7B 사전학습을 추적한 연구에서는 페르소나 벡터가 사전학습의 0.22% 이내에 이미 형성됐다. 더 흥미로운 점은 이렇게 초기에 형성된 벡터가 완전한 instruct 모델을 조향하는 데도 유효했다는 것이다.1
즉, 모델의 행동 성향은 마지막 정렬 단계에서 갑자기 생기는 것이 아닐 수 있다. 사전학습 초반부터 특정 행동 방향이 생기고, 이후 학습 전반에 걸쳐 기하학적·의미적으로 정교화된다.1 Apertus-8B 재현 분석에서도 OLMo-3에서 관찰된 페르소나 벡터 형성 결과가 질적으로 이전됐다.1
이 관점에서 보면 정렬은 “완성된 모델을 나중에 고치는 작업”만이 아니다. 사전학습 데이터가 어떤 페르소나를 만들고 있는지부터 봐야 한다.
Synthetic Persona Pretraining이 바꾸려는 것
Synthetic Persona Pretraining은 원하는 가치나 판단 방식을 담은 합성 반성 데이터를 사전학습에 섞는 접근이다. 한 공개 실험은 사전학습에 “aligned reflection data”를 섞고, 이후 동일한 사후학습을 거친 뒤 모델 일반화에 어떤 변화가 있는지 관찰했다.2
핵심은 단순히 유해 데이터를 제거하는 것이 아니다. SPP가 겨냥하는 것은 모델이 문제 상황을 해석할 때의 기본 관점이다. 같은 입력을 보더라도 모델이 어떤 이유를 떠올리고, 어떤 행동을 자연스럽게 선택하는지를 사전학습 단계부터 바꾸려는 시도다.
이 점에서 SPP는 “정렬을 더 많이 한다”기보다 “정렬이 잘 일반화될 수 있는 내적 조건을 미리 만든다”는 발상에 가깝다. 사후학습이 특정 답변 패턴을 가르친다면, SPP는 그 패턴이 낯선 상황에서도 유지될 수 있도록 모델의 초기 성향을 조정하려는 것이다.
왜 일반화가 핵심인가
정렬에서 가장 어려운 문제는 보지 못한 상황이다. 사후학습 데이터에 모든 위험 상황, 모든 사용자 의도, 모든 맥락을 넣을 수는 없다. 결국 중요한 것은 모델이 새로운 상황에서 어떤 원칙으로 판단하느냐다.
Anthropic의 Model Spec Midtraining도 비슷한 문제의식을 갖는다. 이는 사전학습 이후, 정렬 파인튜닝 이전에 추가되는 학습 단계로, 모델 스펙을 논의하는 합성 문서로 모델을 학습시킨다.4 목적은 단순히 더 많은 예시를 넣는 것이 아니라, 이후 정렬 훈련이 더 잘 일반화되도록 중간 단계에서 판단 기준을 형성하는 것이다.
SPP 역시 같은 방향의 질문을 던진다. “정렬 데이터를 얼마나 넣을 것인가?”보다 “모델이 정렬 데이터를 어떤 내적 성향 위에서 받아들이게 할 것인가?”가 더 중요할 수 있다는 것이다.
다만 페르소나는 설계 대상이자 감사 대상이다
합성 페르소나를 사전학습에 넣는다고 해서 자동으로 더 안전한 모델이 되는 것은 아니다. 어떤 가치를 담을지, 누구의 관점을 대표할지, 어떤 상황을 충분히 포함할지에 따라 결과는 달라질 수 있다.
페르소나 기반 연구를 검토한 논문은 많은 연구가 대상 집단과 대표성을 충분히 설명하지 않는다고 지적했다.5 이는 SPP에도 그대로 적용된다. “좋은 페르소나”라는 말은 너무 추상적이다. 실제로는 어떤 행동을 강화하고, 어떤 판단을 억제하며, 어떤 사용자 집단과 맥락을 기준으로 삼는지 명확해야 한다.
따라서 SPP를 적용하려면 최소한 세 가지를 점검해야 한다.
페르소나의 목표: 어떤 행동 성향을 만들려는가?
데이터의 대표성: 합성 반성 데이터가 특정 관점에 과도하게 치우치지 않는가?
사후학습 이후의 지속성: SFT나 RLHF 이후에도 원하는 일반화가 유지되는가?
정렬은 더 이른 단계에서 시작된다
Synthetic Persona Pretraining의 의미는 정렬 기법 하나가 추가됐다는 데 있지 않다. 더 큰 변화는 정렬을 바라보는 시간축에 있다.
모델의 성향이 사전학습 초기에 형성되고, 그 성향이 이후 instruct 모델의 행동에도 영향을 줄 수 있다면, 사전학습 데이터는 단순한 지식 공급원이 아니다. 그것은 모델이 어떤 역할을 자연스럽게 수행할지 결정하는 초기 조건이 된다.
결론은 분명하다. 앞으로의 정렬은 마지막에 덧씌우는 안전장치만으로는 부족하다. 좋은 모델을 만들려면 사전학습 데이터가 어떤 페르소나와 판단 습관을 만들고 있는지부터 감사해야 한다.
1Tracing Persona Vectors Through LLM Pretraining
2Synthetic Persona Pretraining: Alignment from Token Zero
3Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment
4Model Spec Midtraining: Improving How Alignment Training Generalizes
5Whose Personae? Synthetic Persona Experiments in LLM Research and Pathways to Transparency
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.