"AI가 수학에서 몇 점을 받았다, 그러니 AGI가 가깝다"는 식의 헤드라인은 너무 쉽습니다. 최근 OpenAI 연구진은 팟캐스트에서 수학이 AGI로 가는 핵심 시험대라고 설명했고, 장기 추론과 오류 수정 능력을 보여준다는 점을 강조했습니다.1 지금 이 주장이 중요한 이유는, 수학 벤치마크가 이제 단순한 성능 자랑이 아니라 AI의 '진짜 추론'과 '시험 요령'을 구분하는 도구로 쓰이기 시작했기 때문입니다.
핵심 질문은 이것입니다. 수학 성적이 높다는 사실이 정확히 무엇을 증명하나? 이 질문에 답하지 못하면, 독자는 AIME 점수든 올림피아드 점수든 ARC든 모두 같은 종류의 진전처럼 오해하게 됩니다. 실제로는 그렇지 않습니다.
모든 수학 문제가 AGI 테스트는 아니다
수학은 좋은 벤치마크가 될 수 있습니다. 문제 조건이 비교적 명확하고, 정답 검증이 가능하며, 긴 추론 사슬에서 한 번의 실수가 전체를 무너뜨리기 때문입니다.1 이런 특성은 "논리적 일관성을 오래 유지하는가"를 보기 좋게 만듭니다.
하지만 수학이라고 다 같은 수학은 아닙니다. 계산 위주 문제, 자주 재활용되는 문제 유형, 정답 형식이 지나치게 제한된 문제는 모델이 패턴과 포맷을 학습해 높은 점수를 낼 여지가 큽니다. 반대로 좋은 테스트는 추상화, 전이, 다단계 계획, 표현 전환을 요구합니다.
이 점에서 올림피아드형 문제는 여전히 값집니다. OlympiadBench는 수학·물리 8,476문항으로 구성된 이중언어·멀티모달 벤치마크인데, 공개 결과에서 GPT-4V의 전체 평균은 17.97%, 물리는 10.74%에 그쳤습니다. 이후 공개된 저장소 기준으로도 GPT-4o는 전체 평균 25.89%, 수학 32.48% 수준이었습니다.2 "상위 모델이 이미 수학을 정복했다"기보다, 어떤 종류의 문제에서 아직 쉽게 무너지는지가 더 잘 보인다는 뜻입니다.
실무적으로는 여기서 판단 기준이 달라집니다. "수학을 잘한다"보다 "어떤 수학에서 강한가"를 봐야 합니다. 텍스트만 있는 짧은 문제에 강한 것과, 그림·언어 전환·증명·긴 풀이가 섞인 문제에 강한 것은 전혀 다른 신호입니다.
숨은 변수는 추론이 아니라 '벤치마크 문해력'일 수 있다
수학 벤치마크 점수를 읽을 때 가장 놓치기 쉬운 변수는 오염과 익숙함입니다. 공개 문제셋이면 학습 데이터에 유사 문항이 들어갔을 가능성을 완전히 배제하기 어렵고, 풀이 스타일 자체를 흉내 내는 것만으로도 점수가 올라갈 수 있습니다.
OlympiadBench가 흥미로운 이유도 여기에 있습니다. 이 벤치마크는 공개 시험 PDF를 정제·중복 제거하고, 텍스트뿐 아니라 이미지가 포함된 문제와 증명형 문항까지 넣어 기존의 "정답 하나 맞히기" 편향을 줄이려 했습니다.2 그래도 한계는 남습니다. 오픈형 문항은 자동 채점 파이프라인에 의존하는 부분이 있고, 증명 문제는 샘플 평가 비중이 있습니다. 즉, 더 좋은 벤치마크이긴 하지만 완전한 판정기는 아닙니다.
비슷한 논점은 ARC-AGI 논쟁에서도 드러납니다. o3가 ARC-AGI에서 높은 점수를 받았지만, 그 결과를 두고도 "일반 지능의 도약"인지, 아니면 막대한 추론 비용과 탐색으로 특정 구조의 문제를 푼 것인지 해석이 갈렸습니다.34 이 비교가 중요한 이유는 간단합니다. 수학이든 ARC든, 점수 하나만으로 AGI를 선언하는 순간 벤치마크의 구조적 편향을 놓치기 쉽기 때문입니다.
독자 입장에서는 이렇게 물어보면 됩니다. 이 성능은 새로운 문제를 푸는 능력인가, 아니면 문제 형식을 잘 읽는 능력인가?
올림피아드 1회 우승보다 더 강한 신호는 '수준 전환 능력'이다
제가 보기엔 더 좋은 AGI 신호는 최고 난도 한 방이 아닙니다. 쉬운 산술, 애매한 서술형, 도형 문제, 형식 증명, 실패 후 자기 수정 사이를 오가며 성능을 유지하는지입니다.
초등 올림피아드 수학을 AGI 벤치마크로 보자는 오래된 제안도 같은 맥락에 있습니다. 쉬워 보이지만, 실제로는 언어 이해, 상식적 제약, 조합적 탐색, 추상 규칙 발견이 함께 필요하기 때문입니다.5 즉, 어려운 문제만이 좋은 테스트가 아니라 "형식이 바뀌어도 사고를 이어가는가"가 더 중요합니다.
이 관점은 OpenAI 연구진의 "수학은 장기 추론 훈련장"이라는 주장과도 일부 맞닿습니다.1 다만 해석은 조금 달라야 합니다. 수학은 AGI의 점수판이라기보다, 모델이 어디까지 일반화했고 어디서부터 시험 대비형 행동으로 돌아서는지 보여주는 진단 장비에 가깝습니다.
다음 'AI 수학 돌파' 기사를 60초 만에 읽는 법
앞으로 비슷한 뉴스가 나오면 다섯 가지만 보세요.
어떤 수학이었나. 계산형인지, 증명형인지, 멀티모달인지.
정답 형식은 무엇이었나. 객관식인지, 자유서술인지.
벤치마크가 공개되어 있었나. 데이터 오염 가능성은 어떤가.
실패 분석이 있었나. 어디서 틀렸는지가 공개됐나.
다른 형식으로 전이되나. 텍스트 수학에서 잘한 모델이 도형·물리·증명에서도 유지되나.
이 체크리스트로 보면, "AI가 수학을 잘한다"는 말은 거의 항상 불완전합니다. 정말 봐야 할 것은 점수보다 분포, 최고점보다 적응성, 데모보다 실패 패턴입니다.
지금 이 주제에 특히 신경 써야 하는 사람은 두 부류입니다. 하나는 AI 도입을 검토하는 실무자입니다. 벤치마크 점수를 기능 보증서처럼 읽으면 안 됩니다. 다른 하나는 기술 변화를 해석해야 하는 독자와 투자자입니다. 다음 수학 헤드라인이 나왔을 때, 그것이 진짜 추론 진전인지, 좁은 최적화인지 구별할 기준이 있어야 합니다.
참고
1OpenAI researchers explain why math is the road to AGI
4Understanding and Benchmarking Artificial Intelligence: OpenAI's o3 Is Not AGI
5Analyzing Elementary School Olympiad Math Tasks as a Benchmark for AGI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.