AI 챗봇을 인간 행동의 대역으로 쓰려면 기준이 달라져야 합니다. 중요한 것은 “답변이 얼마나 친절하고 그럴듯한가”가 아니라 “실제 사람이 같은 조건에서 어떤 반응을 보였을지를 얼마나 잘 맞히는가”입니다.
최근 Psych-201 데이터셋 기반 대규모 비교는 이 차이를 잘 보여줍니다. 약 20만 8,000명의 참가자와 약 2,600만 개의 개별 응답을 담은 데이터에서 Qwen3, Llama3, OLMo 3 계열을 비교한 결과, 세 모델 계열 모두에서 기본 모델이 후속 학습된 어시스턴트 모델보다 인간 응답을 더 잘 예측했습니다.1 연구 코드와 데이터도 Hugging Face와 GitHub에 공개되어 있습니다.1
인간 행동 시뮬레이션은 ‘좋은 답변’ 평가가 아니다
인간 행동 시뮬레이션은 말투를 흉내 내는 작업이 아닙니다. 특정 조건에서 사람이 어떤 선택을 할지, 어떤 편향을 보일지, 언제 망설이거나 비일관적으로 반응할지를 예측하는 일에 가깝습니다.
여기서 어시스턴트 모델의 장점이 오히려 한계가 될 수 있습니다. 후속 학습된 챗봇은 보통 더 친절하고, 안전하며, 논리적이고, 도움이 되는 답을 내도록 조정됩니다. 제품용 대화에서는 바람직한 성질입니다. 하지만 실제 사람의 응답은 늘 친절하거나 논리적이지 않습니다. 따라서 “도움이 되는 AI”가 반드시 “사람의 반응을 잘 예측하는 AI”는 아닙니다.
Psych-201 결과가 중요한 이유도 여기에 있습니다. 모델을 더 좋은 어시스턴트로 만드는 과정이 인간 응답의 불규칙성, 편향, 맥락 의존성을 일부 지워버릴 수 있음을 시사하기 때문입니다.
실제 행동은 한 장면 안에 갇혀 있지 않다
이 문제는 대화형 응답을 넘어 실제 디지털 행동을 볼 때 더 뚜렷해집니다. OmniBehavior 연구는 사용자 시뮬레이션을 더 현실적인 조건에서 평가하려는 시도입니다. 이 벤치마크는 실제 사용자 로그만으로 구축됐고, 장기 행동, 교차 시나리오 행동, 이질적 행동 패턴을 하나의 평가 틀에 통합했습니다.2
기존 사용자 시뮬레이션 벤치마크는 단일 시나리오나 좁은 행동 공간, 합성 데이터에 제한되는 경우가 많다는 지적을 받아왔습니다.2 예를 들어 비디오 탐색만 보거나, 라이브 스트리밍만 보거나, 전자상거래 대화만 다루는 식입니다. 하지만 실제 사용자는 그렇게 움직이지 않습니다. 탐색하고, 클릭하고, 검색하고, 댓글을 달고, 상담을 하고, 구매를 고민하는 행동이 시간에 따라 섞입니다.2
OmniBehavior는 Kuaishou 플랫폼의 실제 로그에서 데이터를 수집했습니다. Kuaishou는 일일 활성 사용자가 4억 명을 넘는 비디오 플랫폼으로 설명되며, OmniBehavior는 비디오 탐색, 라이브 스트리밍, 광고, 전자상거래 등 주요 서비스 시나리오의 행동을 포함합니다.2 구축 과정에는 사용자 샘플링, 장기 행동 집계, 품질 관리, 익명화 절차도 포함됐습니다.2
챗봇을 실험 대역으로 쓸 때 확인할 것
이 연구들이 주는 실무적 메시지는 단순합니다. 챗봇이 사람처럼 말한다고 해서 사람처럼 행동을 예측하는 것은 아닙니다.
사용자 조사, 정책 반응 예측, 제품 실험, 시장 반응 시뮬레이션에 AI를 쓰려면 다음 기준을 먼저 확인해야 합니다.
모델이 “좋은 답변”이 아니라 “실제 인간 응답”을 기준으로 평가됐는가
짧은 대화만이 아니라 긴 시간축의 행동을 다루는가
단일 시나리오가 아니라 여러 서비스 맥락을 함께 평가하는가
평균적인 반응뿐 아니라 개인차와 예외적인 행동도 살피는가
어시스턴트 모델과 기본 모델을 목적에 맞게 구분해 비교했는가
특히 후속 학습된 어시스턴트 모델을 그대로 인간 대역으로 쓰는 것은 위험할 수 있습니다. 친절함과 안전성은 사용자-facing 제품에는 장점이지만, 행동 시뮬레이션에서는 실제 사람의 불완전하고 불규칙한 반응을 흐리는 왜곡이 될 수 있습니다.
결국 핵심은 모델의 성능을 하나의 점수로 보지 않는 것입니다. 고객 응대에는 친절한 어시스턴트가 필요할 수 있습니다. 반면 인간 행동을 예측하려면 실제 응답과 실제 로그에 더 가까운 평가가 필요합니다. AI를 사람의 대체 실험군처럼 쓰고 싶다면, 먼저 그 AI가 “사람처럼 말하는지”가 아니라 “사람이 실제로 한 행동을 맞히는지”를 물어야 합니다.
1Making AI chatbots helpful weakens their ability to simulate human behavior, large-scale study finds
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.