구글 리서치 블로그에서 "AI 벤치마크를 만들 때 평가자는 몇 명이면 충분한가?"라는 질문을 정면으로 다뤘습니다1. 이 이슈가 중요한 이유는 간단합니다. 평가자(N)와 문항(K)을 얼마나 쓰느냐에 따라 리더보드 순위가 "의미 있는 차이"인지 "우연의 산물"인지가 갈리기 때문이죠. 오늘은 숲(전체 성능)을 보려다 나무(개별 판단)에서 흔들리는 문제를, N·K 트레이드오프로 정리해봅니다.
AI 벤치마크에서 "평가자 수(N)"가 흔들리는 이유
사람 평가는 본질적으로 분산이 큽니다. 같은 답을 보고도 어떤 평가는 "명확", 어떤 평가는 "애매"라고 하죠. 그래서 N이 너무 작으면, 모델의 진짜 실력보다 "누가 채점했는지"가 점수에 더 크게 반영됩니다. 반대로 N을 무작정 늘리면 비용이 폭증합니다. 특히 에이전트 벤치마크처럼 한 문제를 풀 때 도구 사용과 여러 단계 실행이 들어가면, 롤아웃 자체가 비싸서 평가 체계가 쉽게 '부자들의 게임'이 됩니다2.
여기서 핵심은 "정확한 점수"와 "안정적인 순위"가 같은 난이도가 아니라는 점입니다. 전체 점수(절대값)는 작은 편향에도 쉽게 흔들리지만, 순위(상대 비교)는 의외로 더 버티는 경우가 많습니다2. 즉, 리더보드 목적이라면 N을 점수 예측용으로 설계하기보다 "순위 신뢰도"를 목표로 설계하는 게 현실적입니다.
문항 수(K)와 난이도 설계: '숲'을 잘 보게 만드는 방법
K를 늘리면 평균의 분산이 줄어드는 건 직관적입니다. 하지만 "아무 문제나 많이"가 답은 아닙니다. 최근 에이전트 평가 연구에서는 과거 통과율이 중간(대략 30~70%)인 문항만 골라도 순위 보존이 잘 된다는 결과가 나옵니다2. 너무 쉬운 문제는 다 맞아서 변별력이 없고, 너무 어려운 문제는 다 틀려서 변별력이 없기 때문입니다. 결국 K를 줄이려면 '변별력 높은 문제'로 K의 질을 끌어올리는 쪽이 효율적입니다.
이 접근은 머신러닝에서 교차검증을 여러 번 돌려 "운 좋은 분할"을 평균내는 사고방식과 닮았습니다. 단일 테스트 스플릿은 운빨이 크고, K-Fold처럼 여러 번 나눠 평균을 내면 결과가 안정된다는 것처럼요3. 벤치마크도 결국 "여러 관측(문항·평가자)"을 쌓아 분산을 낮추는 게임입니다.
(N,K) 트레이드오프를 '랜덤 포레스트'로 이해하기
이 트레이드오프를 설명할 때 랜덤 포레스트 비유가 꽤 잘 먹힙니다. 랜덤 포레스트는 여러 결정트리를 만들고(여러 관측), 그 결과를 평균/투표로 합쳐 분산을 줄입니다4. 트리 하나는 깊게 자라면(과하게 단정하면) 흔들리기 쉬운데, 여러 트리를 모으면 평균적으로 안정되죠.
벤치마크도 마찬가지입니다. 평가자 N은 "다수결/평균"을 위한 앙상블 크기이고, 문항 K는 "서로 다른 상황을 보여주는 샘플링 폭"입니다. 중요한 건 단순히 N이나 K를 키우는 게 아니라, 서로 상관된 판단을 줄이는 겁니다. 랜덤 포레스트가 부트스트랩 샘플링으로 트리들을 덜 닮게 만들어 성능을 올리듯4, 벤치마크도 문항 중복(비슷한 유형만 잔뜩)과 평가 기준 모호성(평가자들이 같은 혼란을 공유)을 줄여야 같은 N·K로 더 재현 가능한 결론을 얻습니다.
시사점
평가자 N은 "점수의 정밀도"보다 "순위의 신뢰도" 목표로 잡는 게 현실적입니다. 작은 N이라도 합의 규칙과 가이드라인을 단단히 하면 체감 품질이 확 좋아집니다.
문항 K는 무작정 늘리기보다, 변별력 있는 중간 난이도 문항을 중심으로 구성해 비용 대비 효율을 올리는 전략이 유효합니다2.
마지막으로 (N,K)를 숫자 문제로만 보지 말고, 상관을 줄이는 설계 문제로 보세요. 다양한 유형의 문항, 명확한 채점 루브릭, 데이터 누수 없는 검증 절차(필요하면 중첩 교차검증 사고방식3)까지 갖춰질 때, "숲을 제대로 보는" 벤치마크가 됩니다.
참고
1Building better AI benchmarks: How many raters are enough?
2Efficient Benchmarking of AI Agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.