LLM 평가는 점점 비싸지고 있다. 모델 하나를 여러 벤치마크에 돌릴 때마다 토큰 비용, 실행 시간, 운영 부담이 함께 늘어난다. 그런데 모든 평가가 그만큼의 새 정보를 주는 것은 아니다. 많은 벤치마크 점수는 서로 강하게 상관되어, 사실상 비슷한 능력을 반복해서 측정할 수 있다.1
MMLU는 이 문제를 이해하기 좋은 사례다. MMLU는 57개 과목의 객관식 문제로 구성된 대표적인 지식 평가 벤치마크이며, 수학·역사·컴퓨터과학·법 등 넓은 영역을 다룬다.2 넓은 범위를 포괄한다는 장점은 분명하지만, 평가 체계가 커질수록 질문은 달라진다. “더 많이 평가하는가”보다 “각 평가가 서로 다른 정보를 주는가”가 중요해진다.
중복의 핵심: 같은 신호를 여러 번 재고 있지 않은가
최근 논문 Submodular Benchmark Selection은 이 문제를 “정보량이 큰 소수의 벤치마크 부분집합을 고르는 문제”로 다룬다.1 모든 벤치마크를 실행하지 않고도 전체 성능을 잘 추정할 수 있는 조합을 찾자는 접근이다.
여기서 핵심은 비용 절감만이 아니다. 중복된 평가를 줄이면, 모델 비교에서 실제로 의미 있는 차이에 더 집중할 수 있다. 어떤 벤치마크가 다른 벤치마크와 거의 같은 순위와 점수 패턴을 만든다면, 그것을 계속 추가하는 것은 판단력을 크게 높이지 못한다.
부분모듈러 선택: 새 정보의 한계효용을 본다
논문은 벤치마크 선택을 부분모듈러 최대화 문제로 정식화한다.1 부분모듈러성은 쉽게 말해 “이미 많이 고른 상태에서는 새 항목 하나가 주는 추가 이득이 줄어드는” 성질이다.
벤치마크 평가에 이 개념은 자연스럽게 들어맞는다. 서로 다른 능력을 측정하는 평가를 처음 추가할 때는 정보가 크게 늘어난다. 반대로 이미 비슷한 평가를 여러 개 포함했다면, 같은 유형의 벤치마크를 하나 더 넣어도 얻는 정보는 작다. MMLU 중복성 논의의 실질적 의미도 여기에 있다. 중요한 것은 MMLU를 쓰느냐 마느냐가 아니라, MMLU와 함께 쓰는 평가들이 얼마나 독립적인 신호를 주느냐다.
정보량은 어떻게 정의되는가
논문은 벤치마크 점수들을 다변량 가우시안 모델로 보고, 어떤 벤치마크 묶음이 가장 많은 정보를 담는지 선택한다.1 이때 한 가지 목적함수는 엔트로피다. 엔트로피는 선택된 벤치마크들의 공분산 행렬에 대한 로그 행렬식으로 정의된다.1 직관적으로는 선택한 벤치마크 집합이 얼마나 다양한 변동성과 정보를 담고 있는지를 보는 방식이다.
또 다른 목적함수는 상호정보량이다. 이는 선택된 벤치마크와 선택되지 않은 벤치마크 사이에 공유되는 정보가 얼마나 되는지를 측정한다.1 다시 말해 “이 몇 개의 벤치마크만 보면 나머지 벤치마크 결과를 얼마나 잘 짐작할 수 있는가”를 묻는다.
이 관점은 새롭지만 낯설지는 않다. 제한된 수의 센서만 설치할 수 있을 때 가장 많은 정보를 주는 위치를 고르는 센서 배치 문제와 닮아 있다. 모든 곳에 센서를 놓을 수 없다면, 겹치지 않는 신호를 주는 위치를 골라야 한다. 벤치마크도 마찬가지다.
평가도 최적화의 대상이다
MMLU 자체는 이미 포화와 품질 논쟁을 겪어 왔다. 상위 모델들의 점수가 촘촘하게 붙고, 일부 플랫폼에서는 MMLU를 참고용으로만 표시하기도 한다.3 이런 상황에서는 “어떤 모델이 0.몇 점 더 높다”는 비교만으로 충분하지 않다.
실무적으로 더 중요한 질문은 다음과 같다.
이 벤치마크는 기존 평가와 다른 정보를 주는가?
이 점수 차이는 실제 판단에 도움이 되는가?
비용 대비 모델 선택의 확신을 높이는가?
전체 평가 묶음에서 중복된 역할을 하고 있지는 않은가?
결론은 단순하다. 벤치마크를 많이 쌓는 것이 곧 좋은 평가는 아니다. 좋은 평가는 중복을 줄이고, 정보량이 큰 평가를 선별하며, 제한된 비용 안에서 더 나은 판단을 가능하게 한다. MMLU 중복성 논의가 중요한 이유도 여기에 있다. 모델을 최적화하듯, 이제 평가 체계 자체도 최적화해야 한다.
1Submodular Benchmark Selection
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.