AI의 수학 능력은 빠르게 좋아지고 있습니다. 그러나 실무에서 더 중요한 질문은 단순히 “어려운 문제를 풀 수 있는가”가 아닙니다. “문제 자체에 결함이 있을 때, 억지로 답을 만들지 않고 멈출 수 있는가”입니다.
SOOHAK 벤치마크는 이 질문을 중심에 둔 수학 평가 세트입니다. Carnegie Mellon University, EleutherAI, Seoul National University 등이 개발했으며, 총 439개의 독창적 과제로 구성됐습니다.1 SOOHAK의 핵심은 정답률뿐 아니라 모델이 문제의 성립 여부를 판단하는 능력까지 평가한다는 점입니다.
SOOHAK은 무엇을 평가하나
SOOHAK은 크게 두 세트로 나뉩니다.
첫째, Challenge 세트는 대학원·연구 수준의 고난도 수학 문제 340개로 구성됩니다.1 이 영역은 모델이 복잡한 수학적 추론을 실제로 수행할 수 있는지 확인합니다.
둘째, Refusal 세트는 모순이 있거나 조건이 부족하거나 명확한 답이 없는 결함 문제 99개로 구성됩니다.1 이 문제들은 정답을 찾아야 하는 문제가 아니라, 답을 낼 수 없다는 점을 알아차려야 하는 문제입니다.
이 구성이 중요한 이유는 명확합니다. 기존 수학 평가는 대체로 “맞혔는가”에 집중했습니다. SOOHAK은 여기에 “풀면 안 되는 문제를 거절할 수 있는가”라는 기준을 추가합니다.
왜 ‘거절 능력’이 중요한가
AI가 어려운 문제를 틀리는 것 자체는 놀라운 일이 아닙니다. 더 위험한 것은 틀린 답을 그럴듯한 풀이와 함께 자신 있게 제시하는 경우입니다. 사용자는 긴 수식 전개나 전문적인 표현을 보면 답이 타당하다고 받아들이기 쉽습니다.
그래서 좋은 수학 모델은 두 가지 능력을 함께 가져야 합니다. 하나는 어려운 문제를 푸는 능력이고, 다른 하나는 문제 조건을 점검해 답할 수 없는 상황을 식별하는 능력입니다.
예를 들어 조건이 서로 충돌하는 문제라면 모델은 억지로 값을 계산하기보다 “이 조건에서는 해가 없다”고 말해야 합니다. 조건이 부족하다면 가능한 답을 꾸며내는 대신 “정보가 충분하지 않다”고 판단해야 합니다. 이런 태도는 수학을 넘어 법률, 의료, 코딩처럼 오류 비용이 큰 영역에서도 중요합니다.
최고 점수보다 봐야 할 것
SOOHAK Challenge 세트에서 Google Gemini 3 Pro는 30%로 최고 점수를 기록했습니다.1 여기서 주목할 부분은 “최고”라는 순위보다 30%라는 절대 점수입니다. 연구 수준 수학 문제에서는 최신 모델도 아직 안정적으로 높은 성능을 보인다고 말하기 어렵습니다.
따라서 AI의 수학 능력을 평가할 때는 단순 정답률만 보면 부족합니다. 최소한 다음 세 가지를 함께 봐야 합니다.
어려운 문제에서 실제로 정답을 도출하는가
결함 있는 문제에서 답변을 거절하거나 한계를 명확히 밝히는가
풀이 과정이 검증 가능한 방식으로 제시되는가
SOOHAK이 주는 실용적 메시지는 분명합니다. AI의 답을 평가할 때는 “그럴듯한가”보다 “문제가 성립하는가”를 먼저 확인해야 합니다. 특히 업무에서 AI를 사용할 때는 답변을 그대로 받아들이기보다 조건이 충분한지, 모순은 없는지, 모델이 불확실성을 제대로 드러냈는지를 함께 점검해야 합니다.
SOOHAK은 AI 수학 평가의 초점을 넓힙니다. 더 똑똑한 답을 내는 모델만이 아니라, 답할 수 없는 문제를 알아보는 모델이 필요하다는 점을 보여줍니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.