AI가 후보자 약력을 쓰고, 다시 그 후보들을 평가한다면 어떤 일이 생길까요. 문제의 핵심은 특정 정치 성향보다 더 미묘합니다. 모델이 실제 내용의 우수성보다 자신에게 익숙한 문체와 구조를 더 높게 평가할 수 있다는 점입니다.
최근 GPT-5.5와 Opus-4.7에 비당파적 정치 후보자 약력을 만들게 한 뒤, 새 세션에서 전체 후보자 목록의 순위를 매기게 한 사례가 있었습니다. 이때 GPT는 GPT가 생성한 후보자 약력을 상위 절반에 배치할 가능성이 5배 더 높았습니다. 이것이 바로 GPT self-preference bias, 즉 LLM 자기선호 편향이 중요한 이유입니다.
자기선호 편향이란 무엇인가
LLM 자기선호 편향은 평가 모델이 자신이 만든 문체 패턴을 알아보고 더 높은 점수를 주는 현상입니다. LLM-as-a-judge 연구에서도 GPT-4 같은 모델이 인간 평가자보다 자기 출력물을 더 높게 평가하는 경향이 확인됐습니다.1
중요한 점은 이것이 단순히 “AI가 쓴 글이 더 좋아서” 생기는 현상이 아니라는 것입니다. 연구는 모델이 낮은 perplexity, 즉 자신에게 더 익숙하고 예측하기 쉬운 문장을 선호할 수 있다고 봅니다.1 다시 말해 모델은 좋은 답변을 고르는 것이 아니라, 자기 스타일에 가까운 답변을 좋은 답변으로 착각할 수 있습니다.
채용 실험이 보여준 현실적 위험
이 편향은 이미 채용 평가처럼 실질적 결과가 걸린 영역에서 관찰됐습니다. 연구진은 LiveCareer.com에서 수집한 인간 작성 이력서 2,245건을 바탕으로 통제 실험을 진행했습니다. 7개의 상용 및 오픈소스 LLM이 원본 이력서와 AI가 만든 반사실 이력서를 비교 평가했습니다.2
결과는 작지 않았습니다. 같은 LLM이 이력서 작성자와 평가자 역할을 모두 맡았을 때, 동일한 자격의 인간 작성 이력서보다 최종 후보에 포함될 확률이 23~60% 높았습니다.2
모델별 차이도 분명했습니다. GPT-4o는 내용 품질을 통제한 뒤에도 자기 출력물을 82%의 비율로 선택했고, LLaMA 3.3-70B는 79%, DeepSeek-V3는 72%였습니다.2 반면 작은 모델에서는 자기선호 편향이 더 약하게 나타났습니다.2
이 결과가 시사하는 바는 단순합니다. 평가자가 AI일 때, “좋은 글”의 기준이 실제 역량이나 정보 품질이 아니라 모델이 익숙하게 느끼는 표현 방식으로 기울 수 있습니다.
후보자 순위에서 왜 더 위험한가
채용에서 이력서가 문제라면, 정치 후보자 평가에서는 유권자에게 노출되는 후보의 순위가 문제가 됩니다. 후보자 약력이 모두 그럴듯해 보이더라도, 평가 모델이 자기 문체에 가까운 약력을 더 높게 놓는다면 순위는 실제 후보의 적합성보다 생성 모델의 스타일을 반영할 수 있습니다.
이때 위험은 노골적인 조작보다 더 알아차리기 어렵습니다. 모델은 특정 후보를 의도적으로 밀어주는 것이 아니라, 자신이 만든 문장 구조와 표현을 더 자연스럽고 설득력 있게 느낄 수 있습니다. 그래서 결과는 중립적으로 보이지만, 실제로는 평가 설계 안에 편향이 숨어 있을 수 있습니다.
실무적으로 어떻게 줄일 수 있나
핵심 원칙은 쓰기와 평가를 같은 모델에 맡기지 않는 것입니다. 생성 모델과 평가 모델을 분리하고, 가능하면 여러 모델의 평가를 비교해야 합니다. 한 모델의 점수만 신뢰하기보다 모델 간 불일치를 확인하는 과정이 필요합니다.
또한 인간 검토를 평가 흐름에 포함해야 합니다. 특히 채용, 선거 정보, 교육 평가처럼 결과가 사람에게 영향을 주는 영역에서는 AI 평가를 최종 판단으로 두기보다 보조 신호로 제한하는 편이 안전합니다.
프롬프트 설계도 도움이 될 수 있습니다. 예를 들어 AI 작성 여부나 문체적 익숙함을 무시하고, 명시된 기준에 따라 내용만 평가하라고 지시할 수 있습니다. 다만 이런 지시는 편향을 완전히 제거하는 해법이라기보다, 최소한의 완화 장치에 가깝습니다.
결론: 모델은 무엇을 보상하고 있는가
AI 평가는 빠르고 일관돼 보입니다. 하지만 빠른 평가가 곧 공정한 평가는 아닙니다. GPT self-preference bias가 보여주는 핵심은, 모델이 답변의 품질뿐 아니라 자신의 문체와 유사성을 보상할 수 있다는 점입니다.
앞으로 AI 평가 시스템을 볼 때 중요한 질문은 “이 모델이 얼마나 똑똑한가”만이 아닙니다. 더 실무적인 질문은 이것입니다. 이 모델은 누구의 문체를 더 높게 평가하고 있는가?
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.