1,000만 가중치 제한이 Solver Challenge에 던지는 질문

Solver Challenge를 이해하는 핵심은 “누가 더 큰 모델을 가져왔는가”가 아니다. 제한된 조건 안에서 어떤 풀이 구조가 실제로 작동하는지를 보는 것이다.

Dimitris Papailiopoulos는 이 챌린지에서 solver의 학습 가능한 가중치를 1,000만 개 이하로 제한한다고 밝혔다. 또한 평가 테스트 세트 접근, frozen model 사용, API 호출을 금지한다고 했다.¹ 이 규칙들은 단순한 참가 조건이 아니라, 평가가 무엇을 측정해야 하는지에 대한 선언에 가깝다.

1,000만 가중치 제한이 의미하는 것

신경망의 가중치는 입력 특성이 출력에 얼마나 영향을 주는지를 정하는 수치 값이다.² 따라서 학습 가능한 가중치 수를 제한한다는 것은 solver가 거대한 모델 규모나 방대한 사전지식에 기대기 어렵게 만든다는 뜻이다.

여기서 중요한 점은 “작은 모델이 더 좋다”가 아니다. 핵심은 비교 대상이 명확해진다는 데 있다. 학습 가능한 가중치를 1,000만 개 이하로 묶으면, 제출물의 성능은 더 큰 모델을 몰래 활용한 결과가 아니라 solver 자체의 설계, 학습 방식, 일반화 능력에 더 가깝게 해석될 수 있다.

frozen model과 API 호출 금지도 같은 맥락이다. 이미 학습된 대형 모델을 뒤에 붙이거나 외부 서비스를 호출해 답을 얻는다면, 평가 대상은 solver가 아니라 외부 시스템이 된다. 이런 우회로를 막아야 챌린지는 “제한된 자원으로 문제를 푸는 능력”을 비교할 수 있다.

벤치마크의 장점과 한계

AI 평가에서 벤치마크는 여전히 중요하다. 프런티어 AI의 발전을 추적하려면 표준화된 과제와 비교 가능한 점수가 필요하기 때문이다.³ Solver Challenge도 이런 벤치마크적 성격을 가진다. 참가자들이 같은 규칙 아래에서 성능을 겨루기 때문에, 결과를 비교하고 분석하기 쉽다.

하지만 벤치마크에는 구조적 한계가 있다. 자동 채점이 가능하고, 명확하게 명세되며, 최적화하기 쉬운 과제를 선호할 수 있다.³ 또한 낮은 예산과 짧은 시간 안에 실행 가능한 문제로 평가 범위가 좁아질 수 있다.³

이런 환경에서는 점수가 높아도 실제 세계의 복잡한 문제 해결 능력을 충분히 보여주지 못할 수 있다. 그래서 Solver Challenge의 규칙을 볼 때도 단순히 “몇 점을 받았는가”만 보면 부족하다. 더 중요한 질문은 다음이다.

• 테스트 세트에 접근하지 않고도 성능을 냈는가?

• frozen model이나 API 호출 없이 solver 자체가 문제를 풀었는가?

• 제한된 가중치 안에서 일반화 가능한 풀이 구조를 만들었는가?

이 질문들이 있어야 점수를 더 정확하게 해석할 수 있다.

오픈월드 평가가 보완하는 부분

벤치마크의 한계를 보완하기 위해 오픈월드 평가도 제안되고 있다. 오픈월드 평가는 장기적이고 복잡한 실제 과제를 다루는 평가 방식이며, 대규모 자동 채점 대신 소규모 표본에 대한 정성 분석으로 평가한다.³

CRUX는 이런 오픈월드 평가를 정기적으로 수행하기 위한 프로젝트다.³ 첫 사례에서는 AI 에이전트에게 간단한 iOS 앱을 개발해 애플 앱스토어에 게시하도록 했다. 이 과제에서 에이전트는 피할 수 있었던 수동 개입 1회만으로 작업을 완료했다.³

이 사례가 보여주는 것은 분명하다. 벤치마크 점수는 중요하지만, 실제 작업에서는 긴 절차, 예외 상황, 외부 시스템과의 상호작용이 함께 등장한다. 따라서 Solver Challenge 같은 제한된 벤치마크와 오픈월드 평가는 경쟁 관계라기보다 서로 보완적인 평가 방식으로 보는 편이 적절하다.

Solver Challenge를 읽는 실용적 기준

Solver Challenge의 가치는 “작은 모델로도 좋은 점수를 낼 수 있다”는 데서 끝나지 않는다. 더 중요한 가치는 평가의 초점을 모델 크기에서 풀이 방식으로 옮긴다는 점이다.

결과를 볼 때는 다음 기준으로 해석하는 것이 유용하다.

1. 제한 조건이 명확한가
   학습 가능한 가중치, 테스트 세트 접근, 외부 모델 사용 여부가 분명해야 결과를 신뢰할 수 있다.

2. 외부 지식에 기대지 않았는가
   frozen model과 API 호출이 금지된 환경에서는 solver 자체의 능력이 더 잘 드러난다.

3. 점수보다 일반화 가능성이 보이는가
   특정 벤치마크에만 맞춘 최적화인지, 더 넓은 문제에도 적용 가능한 풀이 구조인지 봐야 한다.

4. 오픈월드 평가와 함께 해석할 수 있는가
   벤치마크 성능이 실제 과제 수행 능력으로 이어지는지는 별도의 평가가 필요하다.

1,000만 가중치 제한은 작은 규칙처럼 보일 수 있다. 그러나 이 제한은 Solver Challenge가 무엇을 측정하려는지 분명히 만든다. 큰 모델을 숨겨 쓰는 능력이 아니라, 제한된 조건 안에서 작동하는 풀이 구조를 만드는 능력이다. 그 점에서 Solver Challenge는 AI 평가를 더 투명하고 실용적으로 바라보게 만드는 좋은 출발점이다.

¹Dimitris Papailiopoulos of Microsoft Research AI Frontiers limits solver challenge models to 10 million trainable weights

²Weights and Bias in Neural Networks - GeeksforGeeks

³[2605.20520] Open-World Evaluations for Measuring Frontier AI Capabilities