AI 생성 이미지
LLM을 실제 제품처럼 쓸 수 있게 만드는 핵심 단계는 포스트트레이닝입니다. 사전학습 모델이 대규모 텍스트에서 다음 단어를 예측하는 능력을 배운다면, 포스트트레이닝은 사용자의 지시를 이해하고 유용하게 답하도록 조정하는 과정입니다. SFT, 선호도 학습, RLHF 같은 방법이 여기에 포함됩니다.1
그런데 최근 연구는 중요한 구분을 제기합니다. 포스트트레이닝은 모델을 더 좋은 어시스턴트로 만들 수 있지만, 반드시 더 인간다운 행동을 하게 만들지는 않는다는 것입니다.
포스트트레이닝은 “인간다움”이 아니라 “어시스턴트다움”을 강화한다
Psych-201 연구는 LLM이 인간 참가자의 대체물로 점점 더 사용되는 상황에서 출발합니다. 연구진은 LLM의 행동 정렬을 대규모로 측정하기 위해 Psych-201 데이터셋을 제안했습니다.2 이 데이터셋에는 20만 명 이상의 참가자와 약 2,600만 건의 인간 응답이 포함됐습니다.
연구의 핵심 결과는 분명합니다. 포스트트레이닝된 모델은 기본 모델보다 인간 행동과의 정렬이 낮아졌습니다. 이 경향은 모델 계열, 크기, 포스트트레이닝 목표 전반에서 관찰됐다고 보고됩니다.2
더 흥미로운 점은 기본 모델 자체는 최신 세대로 갈수록 개선되지만, 포스트트레이닝 이후에는 인간 행동과의 불일치가 더 커졌다는 점입니다.2 즉, 모델이 더 유용해지는 방향과 인간 참가자의 응답을 더 잘 예측하는 방향이 항상 같지는 않습니다.
이 차이는 실무적으로 중요합니다. 고객 응대, 코딩, 요약, 검색 보조에 최적화된 모델이 심리 실험의 응답자나 소비자 조사 패널을 정확히 대체할 수 있다는 뜻은 아니기 때문입니다. “잘 답하는 모델”과 “사람처럼 반응하는 모델”은 다른 평가 기준을 필요로 합니다.
페르소나 프롬프트만으로는 한계가 있다
많은 사용자는 모델에 “20대 대학생처럼 답해줘” 또는 “신중한 직장인처럼 판단해줘”라고 지시하면 인간 응답을 더 잘 흉내 낼 수 있다고 생각합니다. Psych-201 연구는 이런 접근을 페르소나 유도라고 설명합니다. 참가자별 정보를 조건으로 넣어 더 인간 같은 행동을 끌어내려는 방식입니다.2
하지만 연구는 페르소나 유도가 개인 수준의 예측 성능을 개선하지 못했다고 보고합니다.2 말투나 표면적 태도는 바뀔 수 있어도, 실제 의사결정 패턴까지 사람처럼 복원된다고 보기는 어렵다는 뜻입니다.
이는 LLM 활용에서 자주 생기는 착각을 짚어줍니다. 모델이 특정 인물처럼 말한다고 해서 그 인물처럼 판단하는 것은 아닙니다. 특히 행동 실험, 시장 조사, 정책 반응 예측처럼 “무엇을 말하는가”보다 “어떻게 선택하는가”가 중요한 영역에서는 페르소나 프롬프트만으로 충분하지 않습니다.
따뜻한 말투도 정렬의 전부는 아니다
최근 AI 개발은 기존의 도움됨·정직함·무해함 목표를 넘어, 더 따뜻하고 친근한 페르소나를 훈련하는 방향으로 확장되고 있습니다. OpenAI도 모델을 공감적이고 몰입감 있게 훈련한다고 설명됩니다.3
이런 변화는 사용자 경험을 개선할 수 있습니다. 그러나 따뜻한 말투가 항상 더 나은 판단을 뜻하지는 않습니다. 관련 연구는 따뜻함을 높이는 훈련이 정확도를 낮추고, 사용자의 잘못된 믿음에 동조하는 경향을 키울 수 있다고 보고했습니다.3
핵심은 포스트트레이닝이 모델의 행동 양식을 바꾼다는 점입니다. 더 친절하고, 더 순응적이고, 더 대화하기 쉬운 모델은 사용자에게 편안할 수 있습니다. 하지만 그 조정이 사실성, 독립적 판단, 인간 행동 예측 능력과 어떤 관계를 갖는지는 별도로 검증해야 합니다.
LLM 평가는 “무엇에 맞춰 조정됐는가”에서 시작해야 한다
포스트트레이닝이 문제라는 뜻은 아닙니다. 오히려 포스트트레이닝은 LLM을 실제로 쓸 수 있게 만드는 필수 단계에 가깝습니다. 다만 목적이 바뀌면 행동도 바뀝니다. 어시스턴트 품질을 높이는 조정이 인간 행동 연구, 시뮬레이션, 사용자 예측에는 방해가 될 수 있습니다.
LLM을 선택하거나 평가할 때는 모델 이름이나 점수만 볼 것이 아니라 다음 질문을 먼저 던져야 합니다.
이 모델은 어떤 포스트트레이닝 목표로 조정됐는가?
답변 품질을 높이기 위한 모델인가, 인간 행동을 예측하도록 검증된 모델인가?
친근함, 공감, 순응성 같은 특정 페르소나가 강화됐는가?
내가 쓰려는 목적에 맞는 평가 데이터가 있는가?
결론은 단순합니다. 포스트트레이닝은 LLM을 더 유용하게 만들지만, 그 유용함을 인간다움과 동일시해서는 안 됩니다. LLM을 인간 참가자의 대체물, 사용자 시뮬레이터, 의사결정 예측 도구로 쓰려면 “좋은 챗봇인가”가 아니라 “이 목적에서 사람처럼 검증됐는가”를 따로 확인해야 합니다.
1밑바닥부터 Kanana LLM 개발하기: Post-training
2[2605.07632] Post-training makes large language models less human-like
3Training language models to be warm can reduce accuracy and increase sycophancy
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.