한눈에 보기
ARC-AGI-3는 단순히 문제를 몇 개 맞히는지를 보는 테스트가 아니라, 처음 보는 추론 과제를 얼마나 일반적으로, 그리고 얼마나 효율적으로 풀 수 있는지를 보려는 벤치마크로 소개된다.1 그래서 이 벤치마크를 둘러싼 논쟁은 단순한 점수 싸움이 아니라, 무엇을 AGI라고 부를 것인가에 대한 기준 싸움으로 번진다.12
Hacker News 토론에서도 같은 장면이 반복됐다. 어떤 사람은 인간 평균과 동떨어진 기준, 과도한 효율성 중심 채점, 입력 방식의 불공정성을 문제 삼았고, 다른 사람은 오히려 그런 제약이 있어야 범용성과 과적합 억제가 가능하다고 봤다.1 결국 쟁점은 "현실에서 잘 쓰이는 AI"를 보려는가, 아니면 "별도 특화 없이 새로운 문제에 적응하는 일반 지능"을 보려는가로 압축된다.12
ARC-AGI-3란 무엇인가
토론에서 드러난 ARC-AGI-3의 핵심은 정답률 자체보다 일반화와 효율성이다. 이미 본 적 있거나 맞춤형으로 준비된 과제가 아니라, 처음 접하는 퍼즐형 환경에서 얼마나 스스로 규칙을 파악하고 풀어내는지를 측정하려는 의도가 강하다.12
이 때문에 ARC-AGI-3는 일반적인 리더보드형 벤치마크와 결이 조금 다르다. 기술 보고서 설명에 따르면, 이 벤치마크는 브루트포스식 시도나 ARC-AGI-3 전용 세팅으로 오른 성능을 가능한 한 덜 반영하고, 새로운 과제에 대한 범용 시스템의 적응력을 보려 한다.2
왜 이렇게 논쟁적인가
이 벤치마크가 큰 논쟁거리가 되는 이유는, 세부 규칙 하나하나가 곧 AGI 정의와 연결되기 때문이다.1 사람 기준선을 누구로 잡을지, 점수를 정답 개수로 볼지 효율성으로 볼지, 브루트포스와 과적합을 어디까지 억제할지, 별도 하네스를 허용할지, 인간과 모델의 입력 방식을 어떻게 맞출지 같은 문제는 모두 "일반 지능이란 무엇인가"를 건드린다.12
그래서 같은 자료를 보고도 평가가 갈린다. 어떤 사람은 이 정도 기준이면 AGI가 아니라 사실상 더 높은 수준을 요구하는 것처럼 보인다고 말하고, 다른 사람은 애초에 AGI라면 이런 낯선 과제에 별도 도움 없이 적응해야 한다고 본다.1
Hacker News 토론에서 나온 비판 요점
비판하는 쪽은 먼저 인간 비교 기준이 직관적이지 않다고 봤다. 토론에서 제기된 핵심은 이 벤치마크가 '평균 인간'이 아니라 각 레벨에서 "두 번째로 좋은 첫 시도 인간"의 행동 수를 기준선으로 삼는다는 점이다.1 그래서 100%라는 숫자를 보고 많은 사람이 떠올리는 "평균 인간과 동등"이라는 해석이 성립하지 않는다고 본다.1
점수 계산 방식에 대한 불만도 컸다. 비판자들은 이 점수가 실제로 몇 문제를 풀었는지보다, 인간 대비 얼마나 효율적으로 풀었는지에 강하게 좌우된다고 지적했다.1 특히 효율성에 제곱 패널티가 들어가면, 인간보다 훨씬 많은 행동을 쓴 모델은 체감상 비슷하게 문제를 풀어도 점수가 급격히 낮아질 수 있다는 것이다.1
사람 기준선 자체에 대한 의문도 나왔다. 비디오게임이나 컴퓨터 인터페이스에 익숙한 사람은 쉽게 풀 수 있지만, 그렇지 않은 평균적 사람이나 고령층은 불리할 수 있다는 주장이다.1 이 관점에서는 테스트가 순수한 추론 능력만이 아니라 인터페이스 친숙도까지 함께 측정하고 있다는 불만이 담겨 있다.1
별도 하네스와 프롬프트 엔지니어링을 배제한 방식이 현실 성능을 과소평가한다는 비판도 있었다.1 실제 사용 환경에서는 적절한 툴 연결, 프롬프트 설계, 코드 실행 환경이 성능의 일부인데, 이를 걷어내고 평가하면 "쓸모 있는 AI"의 능력을 축소해 보이게 만든다는 시각이다.1
입력 공정성 문제도 인상적인 쟁점이었다. 인간은 시각적 인터페이스를 통해 퍼즐을 보고 조작하는데, 모델은 JSON이나 텍스트 표현을 받는 구조가 과연 공정한가 하는 문제 제기다.1 반대로 이 점을 두고, 인간은 눈과 시각 피질이라는 강력한 "하네스"를 가진 셈 아니냐는 식의 반론도 붙으면서 논쟁이 더 커졌다.1
또 하나 흥미로운 비판은, "랜덤하게 인간 한 명을 골라 그 사람의 행동을 그대로 따라 하는 기계적 터크 AI"가 몇 점을 받을지 제시되지 않아 인간 점수의 맥락이 흐릿하다는 지적이었다.1 이 문제의식과 연결되어, median human score를 함께 제시해야 해석이 더 쉬워진다는 제안도 나왔다.1
Hacker News 토론에서 나온 옹호/반론 요점
옹호하는 쪽은 ARC-AGI-3의 제약이야말로 이 벤치마크의 핵심이라고 봤다. 그들의 기본 입장은 명확하다. AGI라면 처음 보는 과제에 대해 별도 특화 세팅 없이도 적응해야 하며, 특정 퍼즐 전용 하네스가 필요하다면 그것은 일반 지능보다 시스템 설계자의 개입을 더 많이 측정하는 것이라는 주장이다.12
인간 기준선을 상위권 인간으로 잡는 것도 같은 맥락에서 دفاع된다. 평균적인 사람을 이기는 것보다, 낯선 과제에서 뛰어난 인간 수행과 비교하는 편이 의미 있다는 주장이다.1 토론에서는 체스에서 모두가 무작위 사람을 이기는 순간보다 카스파로프를 넘는 순간을 더 중요하게 봤다는 비유도 나왔다.1
효율성 중심 점수에 대해서도 옹호 논리가 있었다. 기술 보고서 설명과 토론 속 해명에 따르면, 이 채점은 브루트포스식 시도를 할인하고 더 어려운 레벨 해결을 더 잘 반영하려는 의도적 설계다.12 다시 말해, 단순히 시간을 들이거나 행동을 많이 써서 맞히는 방식보다, 적은 행동으로 구조를 파악하는 능력을 높이 평가하겠다는 것이다.2
행동 수 제한에 대해서도 오해를 바로잡으려는 설명이 있었다. 프랑수아 쇼레는 이것이 계산량 제한이 아니라 게임 내 행동 수 제한이며, 모델은 API 뒤에서 필요한 계산이나 도구를 사용할 수 있다고 설명했다.1 이 제한은 최종 점수에 결정적인 의미가 있다기보다, 실험 비용을 통제하기 위한 장치에 가깝다는 해석이 제시됐다.1
인간 테스트 방식에 대한 해명도 나왔다. 쇼레는 약 500명의 사람을 90분 세션으로 테스트했고, 참가자는 전문 연구자 집단이 아니라 보통 사람들에 가까웠다고 설명했다.1 각 게임은 10명에게 제시됐고, 완전 해결 사례도 적지 않았다고 말하면서, 인간 기준선이 지나치게 비현실적이라는 비판에 선을 그었다.1
설계 철학과 쟁점 정리
이 논쟁을 정리하면 ARC-AGI-3는 매우 분명한 설계 철학을 갖고 있다. "특정 벤치마크용으로 잘 꾸민 시스템"보다 "별도 준비 없이도 처음 보는 문제를 푸는 범용 시스템"을 더 높게 친다는 것이다.2 그래서 하네스 제한, 효율성 중심 채점, 상위권 인간 기준선이 모두 같은 방향을 가리킨다.12
문제는 이 철학이 모두에게 자명하지 않다는 점이다. 어떤 사람에게 AGI는 인간 사회의 실제 작업 환경에서 도구를 잘 활용하며 문제를 푸는 시스템이다. 이런 입장에서는 하네스나 강한 프롬프트를 배제하는 것이 오히려 현실을 왜곡한다.1 반대로 다른 사람에게 AGI는 외부 보조 없이도 낯선 과제 구조를 파악하는 지능 그 자체에 더 가깝다.12
그래서 100%라는 숫자도 해석이 갈린다. 어떤 사람은 이를 인간 기준선이라고 받아들이기 쉽지만, 토론에서는 그 해석이 부정됐다.1 심지어 어떤 참가자는 이 정도 기준을 모두 넘는다면 AGI를 넘어 ASI에 가까운 잣대처럼 보인다고까지 말했다.1 숫자 하나가 실제보다 훨씬 큰 철학적 무게를 지니는 셈이다.
정리하면 쟁점은 아래처럼 모인다.
인간과 비교할 때 누구를 기준 인간으로 볼 것인가.1
점수는 정답 개수 중심이어야 하는가, 효율성 중심이어야 하는가.12
브루트포스와 벤치마크 과적합을 어디까지 막아야 하는가.12
하네스, 툴, 프롬프트 설계를 성능의 일부로 인정할 것인가.12
인간의 시각 인터페이스와 모델의 텍스트 입력을 어떻게 공정하게 맞출 것인가.1
"100%" 같은 숫자에 어떤 의미를 부여해야 하는가.1
내릴 수 있는 결론
Hacker News 토론만 놓고 보면, ARC-AGI-3를 둘러싼 갈등은 특정 점수의 높고 낮음보다 그 점수가 무엇을 뜻하느냐를 두고 벌어진다.1 비판자들은 이 벤치마크가 인간 평균이나 실사용 환경을 충분히 반영하지 못한다고 보고, 옹호자들은 바로 그 비타협적 제약이 있어야 범용 지능을 더 날카롭게 측정할 수 있다고 본다.12
따라서 이 논쟁에서 쉽게 내릴 수 있는 결론은 많지 않다. 다만 분명한 점은, ARC-AGI-3 논쟁이 결국 "AGI를 무엇으로 볼 것인가"의 정의 싸움이라는 사실이다.12 평균 인간과 비슷하면 AGI인지, 상위권 인간처럼 낯선 과제에 효율적으로 적응해야 AGI인지, 혹은 실제 도구 사용까지 포함해야 AGI인지에 따라 같은 벤치마크도 전혀 다르게 읽힌다.1
이 점에서 ARC-AGI-3는 단순한 테스트라기보다, AGI 논의의 숨은 전제를 드러내는 거울에 가깝다. 점수표보다 더 중요한 것은, 그 점수표 뒤에 어떤 지능관이 들어 있는지 읽어내는 일이다.12
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.