공개 노트

인간 100%, AI 0.37%: ARC-AGI-3가 보여준 AGI의 현실

2026-03-27Views 12약 4분

Summary

"인간 100%, AI 0.37%."

이 숫자 하나가 지금의 AI가 어디까지 왔고, 어디에서 멈추는지를 아주 선명하게 보여준다.

2026년 3월 25일 공개된 ARC-AGI-3는 기존 AI 벤치마크와 결이 다르다. 단순히 정답을 맞히는 능력이 아니라, 처음 보는 환경에서 스스로 목표를 파악하고 얼마나 빠르게 배울 수 있는지를 묻는다. 그리고 그 결과는, 지금의 최첨단 AI가 아직 인간 수준의 일반 지능과는 거리가 멀다는 사실을 숫자로 드러냈다.

658823204_17918967522318076_2692679874585630290_n

ARC-AGI-3는 무엇이 다른가

ARC-AGI-3는 François Chollet과 Mike Knoop이 만든 ARC 시리즈의 최신 벤치마크다. 이번 버전의 가장 큰 차이는 역대 최초의 완전 인터랙티브 벤치마크라는 점이다.

기존 ARC-1, ARC-2는 입력과 출력 패턴을 보고 규칙을 추론해 정답을 맞히는 구조였다. 하지만 ARC-AGI-3는 완전히 다른 질문을 던진다.

규칙이 없다.
목표가 주어지지 않는다.
설명도 없다.

AI 에이전트는 마치 처음 켜본 게임 같은 낯선 환경에 던져진다. 무엇을 해야 하는지 직접 탐색해야 하고, 반응을 관찰해야 하며, 전략도 스스로 세워야 한다.

인간은 이런 상황에서 꽤 강하다. 튜토리얼이 없어도 버튼을 눌러보고, 실패해보고, 규칙을 추론하면서 빠르게 적응한다. ARC-AGI-3는 바로 그 차이를 측정한다.

결과는 충격적이었다

공개된 결과는 단순한 패배가 아니라, 거의 압도적인 격차에 가까웠다.

Gemini 3.1 Pro: 0.37%
GPT-5.4: 0.26%
Claude Opus 4.6: 0.25%
Grok-4.20: 0%
인간: 100%

지금까지 "최고 수준"이라고 불리던 모델들이 줄줄이 1%도 넘지 못했다. 반면 인간은 이 환경을 안정적으로 학습하고 해결했다.

이 숫자는 단순한 성능 비교가 아니다. 지금의 AI가 얼마나 인상적인 문장 생성기인지와, 동시에 얼마나 제한적인 학습자인지를 함께 보여준다.

왜 이렇게 어려운가

핵심은 ARC-AGI-3가 기존 AI의 강점을 정면으로 차단했다는 데 있다.

총 135개의 핸드크래프트 환경 중 110개가 비공개로 잠겨 있다. 즉, 벤치마크를 미리 외우는 방식도, 정답 패턴을 브루트포스로 밀어붙이는 방식도 통하지 않는다. 처음 보는 게임 로직 앞에서는 학습 데이터의 양이 직접적인 해답이 되지 않는다.

지금까지 많은 AI 벤치마크에서 모델들이 보여준 강점은 결국 "본 적 있는 것을 잘 일반화하거나, 잘 기억하는 능력" 에 가까웠다. 하지만 ARC-AGI-3는 그 트릭을 원천적으로 막는다.

그래서 이 벤치마크는 단순히 "정답을 아느냐"보다 더 본질적인 질문을 던진다.

처음 보는 세계에서, 스스로 배우고 적응할 수 있는가?

채점 방식도 다르다

ARC-AGI-3가 흥미로운 이유는 채점 기준도 기존 벤치마크와 다르기 때문이다.

여기서는 단순히 클리어 여부만 보지 않는다. 인간 플레이어 1,200명 이상의 실제 플레이 데이터를 기준으로, AI가 얼마나 효율적으로 학습했는지를 측정한다.

즉, 질문은 "맞혔는가"가 아니라 "얼마나 빨리 배웠는가"다.

이 기준은 중요하다. 진짜 일반 지능을 논하려면 정답률만으로는 부족하다. 낯선 문제를 마주했을 때 시행착오를 통해 얼마나 빠르게 적응하느냐가 훨씬 더 본질적인 지표이기 때문이다.

ARC-AGI-3가 말하는 AGI의 기준

이 벤치마크가 제시하는 AGI의 정의는 단순하다.

AI와 인간 사이에 학습 격차가 존재하는 한, AGI가 아니다.

지금 그 격차는 0.37% 대 100%다.

이 수치는 과장을 걷어낸다. 우리는 종종 최신 AI 모델의 데모를 보며 "이제 AGI가 거의 온 것 아닌가"라고 느낀다. 하지만 ARC-AGI-3는 그 인상을 냉정하게 다시 묻는다.

말을 잘하는 것과, 낯선 세계에서 스스로 배우는 것은 전혀 다른 문제다.

왜 이 벤치마크가 중요한가

ARC-AGI-3의 가치는 단지 모델 순위를 새로 매기는 데 있지 않다. 오히려 지금 AI 업계 전체가 어디에 서 있는지, 그리고 무엇을 아직 해결하지 못했는지를 드러내는 데 있다.

지금의 AI는 여전히 인간처럼 배우지 못한다.
거대한 사전학습은 낯선 환경 적응을 자동으로 해결해주지 않는다.
AGI 주장은 이제 더 엄격한 검증을 피하기 어려워졌다.

론칭 이벤트는 Y Combinator에서 열렸고, François Chollet과 Sam Altman의 대담도 공개 생중계됐다. 동시에 오픈소스 제출만 가능한 ARC Prize 2026도 시작됐다. 총상금은 $2M 규모다.

메시지는 분명하다. AGI를 주장하고 싶다면, 이제는 인상적인 데모가 아니라 이런 환경에서 증명해야 한다.

마무리

ARC-AGI-3는 지금 우리가 쓰는 AI가 얼마나 강력한지, 그리고 동시에 진짜 인간 수준의 일반 지능까지 얼마나 멀리 남아 있는지를 하나의 숫자로 보여준다.

인간 100%, AI 0.37%.

AGI 논쟁을 길게 할 필요가 없다. 지금 시점에서 현실은 이 숫자가 가장 잘 설명한다.

AI 스퀘어 단톡방에서 매일 글로벌 AI 뉴스 브리핑 받아보세요. 비밀번호는 tilnote입니다.

https://open.kakao.com/o/gK4NY6fg

#AGI