AI 벤치마크를 볼 때 점수만 보면 핵심을 놓치기 쉽습니다. ARC-AGI-3가 묻는 것은 모델이 문제 유형을 얼마나 많이 외웠는지가 아닙니다. 낯선 상황에서 규칙을 발견하고, 행동 결과를 바탕으로 전략을 고치며, 점점 복잡해지는 조건에 적응할 수 있는지입니다.
ARC-AGI가 재려는 능력
ARC는 2019년 프랑수아 숄레가 만든 Abstraction and Reasoning Corpus 벤치마크입니다.1 설계 의도는 훈련 데이터에서 본 패턴을 떠올리는 능력이 아니라, 처음 보는 문제를 첫 원리 기반으로 추론하는 능력을 평가하는 데 있습니다.1
초기 형태인 ARC-AGI-1은 작은 시각적 그리드 퍼즐이었습니다. 모델은 몇 개의 입력-출력 예시를 보고 변환 규칙을 추론해야 했습니다. 중요한 점은 각 퍼즐이 고유한 규칙을 사용한다는 것입니다. 퍼즐 사이에 반복되는 규칙을 외워서 푸는 방식은 통하지 않도록 설계됐습니다.1
이 때문에 ARC 계열 벤치마크는 단순한 정답률 경쟁보다 더 까다로운 질문을 던집니다. “모델이 이미 본 것과 비슷한 문제를 잘 푸는가?”가 아니라 “처음 보는 구조를 이해하고 새 규칙을 만들어낼 수 있는가?”를 묻습니다.
ARC-AGI-3에서 달라지는 것
ARC-AGI-3는 정적인 퍼즐을 넘어 더 동적인 환경을 다룹니다. 공식 설명에 따르면 AI 에이전트는 새로운 환경을 탐색하고, 목표를 즉석에서 파악하며, 세계 모델을 만들고, 여러 단계에 걸쳐 적응해야 합니다.2
여기서 핵심은 ‘스키마 확장’입니다. 스키마는 문제를 이해하고 행동을 조직하는 내부 틀이라고 볼 수 있습니다. Greg Kamradt는 ARC-AGI-3의 각 레벨이 이전 레벨 위에 구축되며, 단계마다 새로운 메커니즘을 도입한다고 설명했습니다.3
즉 ARC-AGI-3에서 모델은 한 번 찾은 규칙을 반복 적용하는 데서 멈출 수 없습니다. 이전 단계에서 배운 구조를 유지하면서도, 새 메커니즘이 추가될 때 자신의 이해 방식을 확장해야 합니다. “이 규칙을 찾았다”보다 중요한 것은 “새 조건이 들어왔을 때 기존 규칙을 어떻게 갱신하는가”입니다.
점수를 볼 때 놓치지 말아야 할 기준
ARC-AGI-3의 점수는 낮게 나올 수 있습니다. 논문은 2026년 3월 기준 인간은 모든 환경을 풀 수 있었지만, 프런티어 AI 시스템은 1% 미만을 기록했다고 보고했습니다.4
이 낮은 점수는 단순한 실패로만 볼 일이 아닙니다. 오히려 벤치마크가 아직 모델이 약한 지점을 드러내고 있다는 신호에 가깝습니다. 쉬운 벤치마크는 이미 암기, 패턴 매칭, 도구 사용 능력을 많이 반영합니다. ARC-AGI-3는 그보다 더 근본적인 질문, 즉 “처음 보는 상황에서 얼마나 빨리 배우고 적응하는가”를 겨냥합니다.
AI 제품이나 모델을 평가할 때도 이 관점은 유용합니다. 단순 질의응답이 목적이라면 최종 답변의 정확도가 중요합니다. 하지만 자율 에이전트, 장기 작업, 예외 상황 대응이 중요하다면 최종 답만 봐서는 부족합니다. 탐색 방식, 기억 활용, 계획 수정, 새 조건에 대한 적응 능력을 함께 봐야 합니다.
ARC-AGI-3의 의미는 AGI가 가까워졌다는 선언이 아닙니다. 오히려 현재 모델이 어디서 약한지 더 선명하게 보여주는 기준에 가깝습니다. 좋은 벤치마크는 점수를 높여 보이게 하는 도구가 아니라, 아직 못하는 것을 드러내는 거울입니다.
1What Is Arc AGI 3? How Claude Opus 4.8 Achieved State-of-the-Art Fluid Intelligence
4ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.