LLM이 사람의 생각을 바꿀 수 있다는 말은 이제 낯설지 않습니다. 더 중요한 질문은 따로 있습니다. 언제, 어떤 말 때문에 믿음이 움직였는가?
PersuasionTrace는 이 질문을 다루기 위한 프레임워크입니다. 인간과 LLM의 다중 턴 대화에서 설득 대상의 믿음을 턴마다 기록하고, 믿음 변화가 대화 중 어떻게 전개되는지 분석합니다.1 핵심은 설득을 최종 결과가 아니라 시간에 따라 변하는 과정으로 본다는 점입니다.
왜 전후 비교만으로는 부족한가
기존 설득 연구는 주로 대화 전과 후의 믿음 차이를 측정했습니다. 이 방식은 설득이 일어났는지 확인하는 데는 유용하지만, 대화 중 어느 지점에서 변화가 생겼는지는 보여주지 못합니다.1
예를 들어 대화가 끝난 뒤 믿음이 바뀌었다고 해도, 그 변화가 초반의 정보 제시 때문인지, 중간의 감정적 호소 때문인지, 마지막의 신뢰 형성 때문인지는 알기 어렵습니다. 설득형 AI를 평가하거나 통제하려면 이 차이를 구분할 수 있어야 합니다.
PersuasionTrace는 그래서 턴 단위의 믿음 보고를 기록합니다. 설득 대상은 사람일 수도 있고, 시뮬레이션된 대상일 수도 있습니다. 또한 설득자의 발화를 로고스·파토스·에토스 같은 수사적 차원으로 주석화해, 어떤 전략이 믿음 변화와 연결되는지 살펴볼 수 있게 합니다.1
PersuasionTrace가 바꾸는 평가 기준
PersuasionTrace에서 중요한 것은 LLM이 단순히 “사람처럼 말하는가”가 아닙니다. 더 중요한 기준은 실제 인간의 믿음 변화 궤적을 얼마나 충실히 재현하는가입니다.1
이는 설득형 AI 평가의 초점을 바꿉니다. 최종적으로 사용자의 믿음이 얼마나 달라졌는지만 보는 대신, 대화의 각 단계에서 믿음이 어떻게 움직였는지, 어떤 발화가 영향을 줬는지, 수사 전략이 어떤 패턴으로 작동했는지를 함께 봐야 합니다.
연구에서는 인간 설득 대상이 다중 턴 믿음 업데이트 패턴에 따라 두 개 군집으로 나뉘었고, 수사적 전략에 취약성을 보인다고 보고했습니다.1 이는 설득이 한 번의 강한 문장으로만 설명되기보다, 대화 속에서 누적되고 조정되는 과정임을 시사합니다.
실무적으로 무엇을 볼 수 있나
PersuasionTrace는 설득형 AI를 더 정교하게 만드는 도구가 될 수 있습니다. 동시에 더 안전하게 평가하기 위한 도구이기도 합니다.
특히 다음과 같은 질문에 답하는 데 도움이 됩니다.
어떤 턴에서 사용자의 믿음이 크게 움직였는가?
정보 제시, 감정적 호소, 신뢰 형성 중 무엇이 영향을 줬는가?
특정 사용자가 특정 수사 전략에 더 취약하게 반응하는가?
LLM 시뮬레이터가 실제 인간의 믿음 변화 패턴을 제대로 따라가는가?
이런 질문은 단순한 성능 평가를 넘어 안전성 평가와도 연결됩니다. 어떤 메시지가 믿음을 움직였는지 추적할 수 있어야 조작, 과잉 설득, 취약 사용자에 대한 영향도 점검할 수 있기 때문입니다.
결론: 설득은 결과가 아니라 궤적이다
PersuasionTrace의 가치는 설득을 “전과 후의 차이”로만 보지 않는 데 있습니다. 믿음은 대화 중에도 계속 움직이며, 그 움직임을 턴 단위로 추적해야 설득의 실제 작동 방식을 이해할 수 있습니다.
앞으로 설득형 LLM을 연구하거나 평가할 때는 최종 변화량만으로는 부족합니다. 과정의 충실도, 턴별 영향, 수사 전략의 효과를 함께 봐야 합니다. PersuasionTrace는 그 판단 기준을 더 구체적으로 만들기 위한 프레임워크입니다.
1A Model of Multi-turn Human Persuadability Using Probabilistic Belief Tracing
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.