ARC Prize 측이 "ARC-AGI-3 benchmark is out now"를 공개했습니다1. 이 소식이 중요한 이유는, 이제 AI의 추론을 '정답 맞히기 퍼즐'이 아니라 '탐색하며 배우는 에이전트 행동'으로 측정하려는 흐름이 본격화됐기 때문입니다. 오늘은 ARC-AGI-3가 무엇이고, 왜 기존 ARC-AGI-1/2와 성격이 다른지, 그리고 업계에 어떤 변화를 만들지 핵심만 정리해보겠습니다.
ARC-AGI-3 벤치마크란? "퍼즐"에서 "게임"으로
ARC-AGI는 원래 작은 색깔 격자(grid)를 보고 규칙을 찾아 변환하는 문제들로 유명했죠. 보통 3~5개의 예시를 보고, 마지막 테스트 입력의 정답 격자를 '정확히' 만들어내야 합니다. 사람은 거의 만점에 가깝게 풀지만, AI는 버전이 올라갈수록 성능이 크게 꺾이는 게 특징입니다2.
그런데 ARC-AGI-3는 여기서 방향을 확 틉니다. 정적인 한 번짜리 문제 대신, 목표와 규칙을 스스로 탐색하며 알아내는 "인터랙티브 게임" 형태로 재구성됐습니다2. 쉽게 말해, 이제는 "이 문제의 규칙은 대칭이야"를 눈치채는 것뿐 아니라, "내가 버튼을 눌렀더니 세상이 어떻게 변하지?"를 실험하며 학습해야 합니다.
ARC-AGI-1/2에서 3로 갈수록 점수가 무너지는 이유
재밌는 포인트는 '모든 방식이 같이 무너진다'는 겁니다. 프로그램 합성, 뉴로-심볼릭, 순수 신경망 접근까지 패러다임이 달라도, ARC-AGI-1에서 2로 갈 때 성능이 대략 2~3배 수준으로 떨어지는 패턴이 관측됩니다2. "어떤 한 계열만 못한다"가 아니라, 합성적 일반화(compositional generalization) 자체가 아직 약하다는 신호에 가깝습니다.
수치로 보면 더 직관적입니다. 최상위권 시스템이 ARC-AGI-1에서는 90%대까지 가지만, ARC-AGI-2에서는 60~80%대로 떨어지고, ARC-AGI-3에서는 13% 수준까지 내려갑니다2. 반면 인간은 버전이 올라가도 높은 정답률을 유지합니다2. 즉, ARC-AGI-3는 "모델이 커지면 해결" 같은 기대를 일부러 비껴가도록 설계된 셈입니다.
ARC-AGI-3가 던지는 메시지: '정답 생성'보다 '적응 루프'
지난 1~2년의 ARC 계열에서 반복적으로 등장한 승리 공식은 의외로 단순합니다. 미리 다 배워서 들어가는 것보다, 테스트 시점에 가설을 세우고 검증하고 고치는 '리파인먼트 루프'가 성능을 크게 끌어올렸다는 점입니다2. 실제로 ARC-AGI-2에서도 모델 자체 성능뿐 아니라, 외부에서 반복 샘플링·검증·선택을 잘 설계한 시스템이 급상승을 만들었습니다3.
ARC-AGI-3는 이 트렌드를 더 극단으로 밀어붙입니다. 상호작용 환경에서는 "한 번 잘 찍어서 맞히기"가 통하지 않습니다. 탐색 전략이 필요하고, 관찰을 누적해 세계 모델을 만들고, 실패를 통해 정책을 업데이트해야 합니다. 그래서 ARC-AGI-3는 LLM 벤치마크라기보다, '에이전트 벤치마크' 성격이 강해졌다고 보는 게 맞습니다.
시사점: 개발자와 업계가 지금 준비할 것
첫째, 앞으로 "추론 잘함"을 말할 때 점수 하나만으로 설명하기 더 어려워집니다. 같은 모델이라도 탐색·검증·메모리·도구사용 설계에 따라 성능이 갈릴 가능성이 큽니다.
둘째, 데이터 오염(문제 암기) 회피는 더 중요해지고, 그래서 절차적 생성이나 태스크 패밀리 같은 접근이 힘을 받을 겁니다. 예를 들어 ARC-TGI는 고정 문제를 외우는 걸 막기 위해 '규칙은 유지하되 표면은 계속 바뀌는' 생성기를 체계화합니다4. ARC-AGI-3 시대엔 이런 "계속 새 문제를 뽑아내는 평가"가 더 자연스러워집니다.
셋째, 실무 관점에서 준비할 건 한 가지입니다. 모델을 바꾸기 전에, "적응하는 시스템"을 만드세요. 짧게는 자기검증 루프, 길게는 탐색-기억-계획이 연결된 에이전트 구조가 필요합니다. ARC-AGI-3는 그 흐름을 '유행'이 아니라 '필수 역량'으로 만들어버리는 벤치마크가 될 가능성이 큽니다.
참고
1ARC-AGI-3 benchmark is out now
2The ARC of Progress towards AGI: A Living Survey of Abstraction and Reasoning
3Gemini 3.1 Pro Just Hit 77% on ARC-AGI-2 -- What That Benchmark Actually Means
4ARC-TGI: Human-Validated Task Generators with Reasoning Chain Templates for ARC-AGI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.