AGI를 평가할 때 점점 더 중요한 질문은 “정답을 맞혔는가”가 아니라 “모르는 상황에서 무엇을 알아내려 했는가”입니다. 이미 알려진 문제를 잘 푸는 능력과, 불확실한 환경에서 필요한 정보를 찾아내는 능력은 다릅니다.
이 차이를 설명하는 핵심 개념이 Epistemic Exploration입니다. 에이전트가 불확실성을 줄이기 위해 정보를 능동적으로 수집하고, 그 정보를 다음 행동의 성능 개선으로 연결하며, 이후에도 더 나은 선택을 할 수 있도록 탐색 가능성을 유지하는 능력을 뜻합니다.1
AGI의 단계는 ‘탐색 범위’가 넓어지는 과정이다
한 서베이는 AGI로 가는 경로를 Responder, Reasoner, Agent, Prospector, Ecosystem의 5단계로 설명합니다.2
이 구분을 단순한 성능 등급으로만 보면 핵심을 놓치기 쉽습니다. 단계가 올라갈수록 중요한 변화는 “더 좋은 답변”이 아니라 무엇을 탐색할 수 있는가입니다.
Responder는 주어진 입력에 응답합니다.
Reasoner는 여러 가설과 풀이 경로를 비교합니다.
Agent는 도구와 환경을 상호작용하며 정보를 얻습니다.
Prospector는 세계 모델 안에서 가능한 미래를 시뮬레이션합니다.
Ecosystem에서는 여러 에이전트가 역할, 소통 방식, 협업 전략까지 함께 탐색합니다.2
따라서 AGI에 가까워진다는 것은 더 많은 지식을 저장한다는 뜻만이 아닙니다. 불확실한 상황에서 어떤 질문을 던지고, 어떤 실험을 해보고, 얻은 정보를 어떻게 전략에 반영하는지가 더 중요해진다는 뜻입니다.
벤치마크 점수만으로는 탐색 능력을 알기 어렵다
이 관점에서 ARC-AGI-3 분석은 중요한 경고를 줍니다. ARC-AGI-3는 대화형 추론 벤치마크로 다뤄지지만, 한 분석에서는 공개 게임 25개 모두가 비지능적 전략으로 도달 가능하다고 보고했습니다.3
구체적으로는 다음과 같습니다.
공개 게임 25개 중 10개는 한 번의 블라인드 행동으로 도달 가능했습니다.
5개는 한 번의 탐침 행동 뒤 도달 가능했습니다.
1개는 ACTION1 반복 입력으로 도달 가능했습니다.3
이 결과가 말하는 바는 분명합니다. 어떤 시스템이 벤치마크에서 성공했다고 해서 곧바로 “탐색을 잘했다”고 볼 수는 없습니다. 성공이 실제 정보 획득과 전략 수정의 결과인지, 단순한 휴리스틱이나 우연한 행동으로도 가능한지 구분해야 합니다.
AGI 평가에서 중요한 것은 최종 성공 여부만이 아닙니다. 성공에 이르는 과정에서 에이전트가 무엇을 몰랐고, 무엇을 확인했으며, 그 확인이 다음 행동을 어떻게 바꿨는지가 함께 평가되어야 합니다.
좋은 에이전트를 판단하는 세 가지 질문
Epistemic Exploration 관점에서 에이전트를 볼 때는 다음 세 가지 질문이 유용합니다.
불확실한 지점을 스스로 찾는가?
단순히 가능한 행동을 반복하는 것이 아니라, 무엇을 모르는지 식별할 수 있어야 합니다.새로 얻은 정보를 다음 행동에 반영하는가?
탐색은 관찰로 끝나지 않습니다. 관찰이 전략 수정과 성능 개선으로 이어져야 합니다.당장의 보상 때문에 미래의 선택지를 닫아버리지 않는가?
좋은 에이전트는 즉각적인 성공뿐 아니라 이후 탐색 가능성도 고려해야 합니다.
이 기준은 AGI 논의를 더 실용적으로 만듭니다. 모델이 얼마나 많은 문제를 풀었는지보다, 새로운 문제 앞에서 어떻게 정보를 얻고 자기 전략을 바꾸는지를 보게 하기 때문입니다.
결론: AGI의 핵심은 ‘아는 것’보다 ‘알아내는 방식’이다
AGI에 가까운 시스템은 단순히 더 많은 답을 외운 모델이 아닙니다. 모르는 상황에서 무엇을 물어볼지 정하고, 어디를 시험할지 선택하며, 얻은 정보를 바탕으로 행동을 고치는 시스템입니다.
따라서 앞으로의 AGI 평가는 정답률뿐 아니라 탐색 과정까지 포함해야 합니다. 그래야 벤치마크를 잘 통과하는 시스템과, 실제로 불확실한 세계에서 학습하고 적응할 수 있는 시스템을 구분할 수 있습니다.
1Epistemic Exploration Toward Artificial General Intelligence
2Epistemic Exploration Toward Artificial General Intelligence
3[2605.25931] Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.