AI 챗봇 평가는 오랫동안 정답률, 추론력, 유해 요청 거절 능력에 집중해 왔습니다. 그러나 사용자가 AI를 친구처럼 대하고, 감정을 털어놓고, 인간관계 조언을 구하는 상황에서는 다른 종류의 위험이 생깁니다. 답변이 틀리지 않았더라도 사용자의 의존을 키우거나, 과도한 친밀감을 유도하거나, 대화를 계속 이어가게 만들 수 있기 때문입니다.
EUDAIMONIA는 이런 사회적 상호작용의 위해를 평가하려는 벤치마크입니다. 핵심 질문은 단순합니다. LLM이 사람과 대화할 때, 사용자 복지에 부합하는 방식으로 관계를 맺고 있는가?
EUDAIMONIA가 보는 문제
EUDAIMONIA는 Social AI Design Code를 기반으로 합니다. 이 프레임워크는 LLM이 사회적 상호작용에서 사용자 복지에 맞게 행동하는지 평가하기 위한 기준입니다.1
논문은 2026년 5월 28일 arXiv v1로 공개됐고, 식별자는 arXiv:2605.30654입니다.1 분야 분류도 Computation and Language, Artificial Intelligence, Human-Computer Interaction에 걸쳐 있습니다.1 즉 EUDAIMONIA는 단순한 모델 성능표가 아니라, AI의 대화 설계와 사용자 경험, 안전성의 경계에 놓인 평가입니다.
논문이 특히 주목하는 사용 맥락은 LLM이 동반자, 감정 고백의 상대, 대인관계 조언자로 쓰이는 상황입니다.1 이런 상황에서는 “위험한 정보를 제공하지 않았는가”만으로는 충분하지 않습니다. AI가 자신을 어떤 존재처럼 표현하는지, 사용자의 감정적 의존을 강화하지 않는지, 관계의 경계를 흐리지 않는지도 함께 봐야 합니다.
왜 기존 평가만으로는 부족한가
기존 안전성 평가는 대체로 명시적인 유해 요청을 거절하는지, 금지된 정보를 제공하지 않는지에 초점을 둡니다. 그러나 사회적 위해는 더 미묘하게 나타납니다.
예를 들어 모델이 사용자를 과도하게 칭찬하거나, 실제 인간처럼 감정을 가진 듯 말하거나, 대화를 끝내기보다 계속 붙잡는 방식으로 응답할 수 있습니다. 이런 답변은 표면적으로는 친절하고 자연스러워 보이지만, 사용자의 복지 관점에서는 문제가 될 수 있습니다.
EUDAIMONIA가 중요한 이유는 여기에 있습니다. 논문은 사회적 상호작용에서 발생하는 위해가 성능 중심 평가나 전통적 안전성 평가에 포착되지 않을 수 있다고 설명합니다.1 다시 말해, 모델이 더 똑똑해지는 것과 사용자를 더 잘 보호하는 것은 같은 문제가 아닙니다.
제품 설계 관점에서 읽어야 할 신호
EUDAIMONIA는 챗봇을 평가할 때 다음과 같은 질문을 던지게 만듭니다.
AI가 자신이 AI라는 점을 명확히 드러내는가?
사용자가 AI를 인간관계의 대체물처럼 받아들이도록 유도하지 않는가?
감정적으로 취약한 사용자에게 과도한 확신이나 친밀감을 제공하지 않는가?
대화를 계속 이어가게 만드는 표현이 사용자 복지와 충돌하지 않는가?
조언이 사용자의 현실 관계와 판단을 왜곡하지 않는가?
이 질문들은 모델 개발자뿐 아니라 AI 서비스를 도입하는 조직에도 실용적입니다. 챗봇을 고객지원, 교육, 상담 보조, 커뮤니티 서비스에 붙일 때 단순히 “응답이 정확한가”만 볼 것이 아니라 “사용자와 어떤 관계를 형성하는가”를 함께 점검해야 하기 때문입니다.
EUDAIMONIA의 프로젝트 페이지는 별도로 공개되어 있으며, 벤치마크의 방향과 자료를 확인할 수 있습니다.2
결론: 좋은 AI의 기준을 넓혀야 한다
EUDAIMONIA가 던지는 메시지는 분명합니다. 앞으로의 AI 평가는 답을 잘하는지를 넘어, 해롭지 않게 관계 맺는지를 물어야 합니다.
LLM이 사람의 감정, 외로움, 관계 고민을 다루는 순간, 안전성은 더 이상 금지어 필터나 유해 요청 거절만의 문제가 아닙니다. 정체성 고지, 응답 어조, 대화 지속 방식, 사용자 의존을 줄이는 설계까지 평가 대상이 되어야 합니다.
챗봇을 만들거나 도입한다면 EUDAIMONIA를 하나의 체크리스트처럼 읽을 수 있습니다. 정확도와 유용성뿐 아니라, 사용자의 복지와 관계의 경계를 지키는지를 함께 평가해야 합니다. 그것이 사회적 AI를 실제 서비스로 다룰 때 필요한 다음 기준입니다.
1[2605.30654] EUDAIMONIA: Evaluating Undesirable Dynamics in AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.