UK AISI와 EvalEval이 벤치마크 결과를 검증 가능하게 만드는 법
AI 벤치마크는 점수만으로 비교하기 어렵다. 어떤 모델과 설정을 사용했는지, 누가 평가했는지, 지표가 무엇을 측정하는지 알아야 결과를 올바르게 해석하고 검증할 수 있기 때문이다.
UK AISI는 EvalEval의 Evaluation Cards를 통해 이 정보를 함께 공개한다. EvalEval의 Every Eval Ever가 평가 결과를 위한 공통 스키마와 저장소라면, Evaluation Cards는 벤치마크·평가 실행·모델 메타데이터를 하나의 기록으로 연결한다.1
공개 자료에는 HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro, Terminal-Bench 2.0의 검증된 결과와 설정 정보가 포함된다. 이 결과는 Claude Opus 4·4.5·4.6과 GPT-5·5.2·5.4 등 6개 모델을 다룬다. Cyber CTFs와 The Last Ones의 사이버 평가 결과도 함께 제공된다.1
재현성은 점수가 아니라 기록에서 시작한다
Evaluation Cards의 핵심 가치는 결과가 만들어진 경로를 추적할 수 있다는 데 있다. 다만 공통 형식을 사용한다고 해서 메타데이터가 자동으로 정확해지는 것은 아니다. 검증 정보와 레지스트리를 지속해서 관리해야 한다.
실제로 검증 평가자 조회표가 2026년 8월 이후 갱신되지 않으면서 UK AISI 평가 7건 중 5건만 검증 상태로 표시됐다. AISI 사이버 집계 결과와 Apertus 1.5 결과는 기존 조회표에 해당 행이 없어 기본값인 ‘미검증’으로 분류됐다.2
조회표를 재생성하자 검증 평가자와 소속 데이터는 3만1,103개에서 7만8,462개 레코드로 늘었다. 갱신 후 AISI 사이버 레코드 13건이 모두 검증 상태로 처리됐으며, 로컬 재생성 결과 UK AISI 평가 7건 모두에 검증된 평가 기관으로 UK AI Security Institute가 표시됐다. 기존 조회표와 비교한 검사에서는 검증 판정 변경이나 ID 누락도 발견되지 않았다.2
이 사례는 ‘미검증’ 표시가 반드시 평가 자체의 신뢰성 부족을 뜻하지는 않는다는 점을 보여준다. 조회표 누락이나 갱신 지연처럼 메타데이터 관리 문제일 수 있으므로, 독자는 검증 상태뿐 아니라 그 상태가 어떤 데이터에서 산출됐는지도 확인해야 한다.
이름과 지표의 정의도 함께 확인해야 한다
UK AISI 사이버 벤치마크는 레지스트리 항목이 없을 때 사용자 인터페이스에 표시명 대신 원시 슬러그가 노출됐다. 벤치마크를 레지스트리에 등록하면서 사람이 읽을 수 있는 명칭과 관련 지표를 일관되게 연결할 기반이 마련됐다.3
지표 정의도 중요하다. Mean Progress Score는 일반적인 평균 성능 점수가 아니라, 시나리오의 전체 단계 가운데 모델이 완료한 단계의 비율을 측정한다. 따라서 같은 숫자라도 지표의 정의나 집계 단위를 확인하지 않으면 실제 성능을 다르게 해석할 수 있다.3
데이터 접근성에는 한계도 있다. UK AISI 사이버 벤치마크의 과제 세트는 비공개이므로 데이터셋 저장소 필드가 제공되지 않는다.3 따라서 Evaluation Cards 공개를 모든 평가를 누구나 완전히 재실행할 수 있다는 뜻으로 받아들여서는 안 된다. 그보다는 평가자, 설정, 출처, 지표 정의를 더 명확하게 추적하고 감사할 수 있게 됐다는 의미에 가깝다.
결과를 읽을 때 확인할 네 가지
Evaluation Cards에서 벤치마크 결과를 비교할 때는 순위보다 다음 항목을 먼저 확인하는 편이 유용하다.
평가자 검증 상태: 누가 평가했으며 검증 정보가 최신인지 확인한다.
실행 조건: 모델 버전과 평가 설정이 동일한지 살펴본다.
지표 정의: 점수가 무엇을 측정하고 어떤 단위로 집계되는지 확인한다.
데이터 접근성: 과제와 데이터가 공개돼 재실행할 수 있는지, 아니면 메타데이터 감사만 가능한지 구분한다.
결론
핵심 요약: UK AISI와 EvalEval의 접근은 점수뿐 아니라 평가의 출처, 실행 설정, 모델 정보, 지표 정의를 함께 관리하는 데 의미가 있다. 독자는 벤치마크 순위를 그대로 받아들이기보다 평가자 검증 여부, 실행 조건, 지표의 의미, 데이터 접근성을 함께 확인해야 결과의 신뢰성과 재현 가능성을 제대로 판단할 수 있다.
1How UK AISI and EvalEval Are Making Benchmark Results Reproducible
2Refresh verified-evaluator attribution through the AISI cyber and Apertus submissions - #59
3Register the AISI cyber benchmarks and the mean progress score metric - #80
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.