Google DeepMind 이중맹검 AI 벤치마크가 바꾸는 평가 기준
AI 벤치마크 점수가 높더라도 모델이 평가 문항을 미리 접했다면 실제 역량을 정확히 반영한다고 보기 어렵다. 이를 ‘벤치마크 오염’이라고 한다. 선행 연구에서는 조사한 31개 모델 중 약 절반에서 벤치마크 유출 징후가 발견됐다.1
Google DeepMind는 이 문제를 줄이기 위해 독점 모델과 비공개 문항을 서로 노출하지 않는 이중맹검 평가를 시험했다. 싱가포르 AI 안전 연구소를 비롯한 파트너들이 참여한 이번 파일럿의 핵심은 더 높은 점수를 만드는 것이 아니라, 점수를 산출하는 절차의 신뢰성을 높이는 데 있다.2
모델과 시험지를 동시에 보호하는 방법
폐쇄형 모델을 외부에서 평가할 때는 이해관계가 충돌한다. 외부 평가자가 API로 문항을 보내면 Google 같은 모델 제공사가 비공개 테스트를 볼 수 있다. 반대로 평가자가 모델을 독립적으로 실행하려면 제공사가 독점 모델 가중치를 넘겨야 한다.1
파일럿에서는 Gemini Flash Lite 계열인 Gemini 2.5 Flash Lite와 비공개 벤치마크를 Google Cloud의 Confidential Space에서 실행했다. 평가자는 Gemini 모델 가중치를 볼 수 없고, Google은 테스트 프롬프트를 볼 수 없는 구조다.
실행 환경은 Intel TDX의 호스트 메모리 암호화와 NVIDIA H100 Confidential GPU를 결합했다. 모델 가중치는 하드웨어로 암호화된 GPU 메모리에 저장하고, 평가 프롬프트는 암호화된 호스트 메모리에 별도로 보관한다.1
암호화와 실행 검증을 함께 사용한다
데이터를 암호화하는 것만으로는 충분하지 않다. 실행 중인 소프트웨어가 합의된 코드인지도 확인해야 한다.
원격 증명은 양측이 비공개 데이터를 보내기 전에 사전에 합의한 소프트웨어가 실행되고 있는지 검증한다. OpenMined의 PySyft는 양측의 코드 사전 승인을 지원하며, 민감한 평가 코드가 외부 네트워크로 정보를 전송하지 못하도록 차단한다.1
다만 이 구조가 모든 신뢰 문제를 없애는 것은 아니다. 하드웨어와 클라우드 운영 환경에 대한 신뢰가 여전히 필요하고, 일부 검증 과정에는 Google 서비스가 관여한다. 파일럿의 평가 점수도 공개되지 않았다.2 보안 실행 환경은 결과의 신뢰성을 높이는 수단이지, 결과 자체의 타당성을 자동으로 보장하는 장치는 아니다.
점수보다 평가 절차를 확인해야 한다
AI 제품이나 모델을 비교할 때는 최종 점수와 함께 다음 질문을 확인해야 한다.
모델 제공사가 비공개 평가 문항을 볼 수 있었는가?
외부 평가자가 독점 모델 가중치에 접근할 수 있었는가?
실행된 코드와 환경을 양측이 사전에 검증했는가?
평가 코드의 외부 통신이 차단됐는가?
평가 방법과 한계가 충분히 공개됐는가?
이 기준은 벤치마크 점수가 실제 모델 역량을 얼마나 잘 반영하는지 판단하는 데 도움이 된다.
요약: Google DeepMind의 이중맹검 평가는 벤치마크를 더 어렵게 만드는 기술이 아니라, 모델과 문항을 동시에 보호하면서 그 점수를 왜 신뢰할 수 있는지 입증하려는 시도다.
1Google found a way to test Gemini without seeing the questions
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.