AI 성능 비교에서 점점 더 중요한 질문은 “몇 점인가”가 아니라 “그 점수를 믿을 수 있는가”다. 공개 벤치마크는 모델 개발 과정에서 노출될 수 있고, 리더보드 점수를 올리는 방향으로 최적화되기도 쉽다.
이 문제를 줄이기 위한 한 가지 제안이 깨끗한 데이터에서의 퍼플렉시티다. 퍼플렉시티는 모델이 다음 토큰을 얼마나 잘 예측하는지 측정하는 지표다. 일반적으로 낮을수록 주어진 언어·코드 분포를 더 잘 예측한다고 볼 수 있다.1
왜 ‘깨끗한 데이터’가 중요한가
핵심은 데이터의 품질보다 먼저 오염 여부다. 평가에 쓰는 코드·언어 데이터가 이미 학습 과정에 섞였다면, 낮은 퍼플렉시티가 일반화 능력인지 암기 효과인지 구분하기 어렵다.
따라서 이 방식은 오염되지 않은 고품질 데이터셋을 비공개로 유지하고, 기본 모델 API에 대해 테스트 퍼플렉시티를 측정하는 접근에 가깝다. 공개 문제를 얼마나 잘 푸는지보다, 처음 보는 좋은 데이터를 얼마나 자연스럽게 예측하는지 확인하는 것이다.
이때 퍼플렉시티는 모델의 “기초 체력”을 보는 지표로 유용하다. 특정 문제 유형을 맞혔는지가 아니라, 새로운 코드와 언어 패턴을 얼마나 안정적으로 다루는지 보여주기 때문이다.
과제형 벤치마크와 함께 봐야 한다
그렇다고 깨끗한 데이터의 퍼플렉시티가 기존 벤치마크를 대체하는 것은 아니다. 최근 벤치마크는 모델의 실제 문제 해결 능력을 더 직접적으로 측정하는 방향으로 발전하고 있다.
예를 들어 Epoch AI는 GPT-5.5 Pro가 Epoch Capabilities Index에서 159점을 기록했다고 밝혔고, 이 지표는 AI 역량을 추적하는 벤치마크로 사용된다.2 또 MirrorCode는 몇 주가 걸리는 소프트웨어 엔지니어링 작업을 평가하는 장기 과제 벤치마크이며, FrontierMath: Open Problems는 수학자들이 해결하지 못한 실제 연구 문제를 포함한다.2
이런 벤치마크는 “무엇을 할 수 있는가”를 보여준다. 반면 클린 데이터 퍼플렉시티는 “평가 점수를 믿을 만한가”, “모델의 기본 예측 품질이 개선됐는가”를 확인하는 데 더 적합하다. 둘은 경쟁 관계가 아니라 보완 관계다.
주의할 점도 있다. 퍼플렉시티가 낮다고 해서 모든 실제 업무 성능이 높다고 단정할 수는 없다. 관련 연구에서도 퍼플렉시티 기반 데이터 선별이 성능 향상을 보였지만, 테스트셋 퍼플렉시티가 다운스트림 성능을 항상 잘 설명하지는 않는다고 지적했다.3
실무에서는 어떻게 써야 하나
가장 실용적인 방식은 하나의 점수에 의존하지 않는 것이다. 모델을 평가할 때는 다음 세 가지를 함께 보는 편이 안전하다.
비공개 클린 데이터에서의 퍼플렉시티
실제 과제형 벤치마크 점수
조직이나 제품에 맞춘 도메인별 검증
기업이라면 내부 문서와 코드 중 학습·튜닝·프롬프트 최적화에 쓰지 않을 작은 평가셋을 따로 만들 수 있다. 그리고 모델을 교체하거나 업데이트할 때마다 같은 조건으로 퍼플렉시티를 측정한다. 이렇게 하면 공개 리더보드 점수만으로는 보이지 않는 변화를 잡아낼 수 있다.
결론은 간단하다. 깨끗한 데이터의 퍼플렉시티는 AI 모델 평가의 “위생 검사”에 가깝다. 최고의 모델을 단독으로 골라주는 만능 점수는 아니지만, 벤치마크 점수를 얼마나 믿어도 되는지 확인하는 실용적인 기준이 될 수 있다.
1Perplexity Evaluation | mit-han-lab/Quest | DeepWiki
2Data on AI Capabilities and Benchmarking | Epoch AI
3Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.