구글 딥마인드가 2026년 3월, AGI 진척을 측정하기 위한 인지 프레임워크를 공개했고 동시에 Kaggle 해커톤도 열었습니다. 핵심은 AI를 한 줄 점수로 재단하지 말고, 10가지 인지 능력으로 쪼개서 인간 기준선과 비교해 보자는 제안입니다.12
이게 지금 중요한 이유는 분명합니다. 모델 데모는 점점 더 그럴듯해지는데, 실제 업무에 넣으면 자주 무너집니다. 그래서 지금 더 유용한 질문은 "이게 AGI에 가까운가?"가 아니라 "내 워크플로를 먼저 망가뜨릴 부족한 능력은 무엇인가?"입니다.
"AGI인가?"보다 "어떤 지능이 비어 있나?"가 더 실용적이다
딥마인드가 제안한 분류는 지각, 생성, 주의, 학습, 기억, 추론, 메타인지, 실행기능, 문제 해결, 사회적 인지의 10개 축입니다.1 여기서 중요한 건 목록 자체보다 관점입니다.
예를 들어 코딩 보조 도구는 생성과 국소 추론은 강할 수 있습니다. 하지만 긴 작업 맥락을 유지하는 기억, 여러 제약을 동시에 다루는 실행기능, 자기 오류를 감지하는 메타인지가 약하면 실제 제품 수정이나 운영 자동화에서는 사고가 납니다. 고객지원 AI도 마찬가지입니다. 답변 생성은 잘해도 사회적 인지와 주의가 약하면 민감한 문의에서 톤을 잘못 잡거나 핵심 맥락을 놓칩니다.
즉, "범용적으로 똑똑하다"는 인상은 구매 신호가 아닙니다. 오히려 어떤 능력이 비어 있는지 봐야 배치 가능 범위를 정할 수 있습니다.
벤치마크 하나 잘 나왔다고 안심하면 생기는 데모 함정
딥마인드는 기존 평가가 정적 지식 시험에 치우치고 데이터 오염에도 취약하다고 봅니다.1 그래서 보류된 테스트셋, 인간 기준선, 인간 성능 분포 대비 위치 파악이라는 3단계 프로토콜을 제안했습니다.1
여기서 읽어야 할 포인트는 "새로운 AGI 점수"가 아니라 "통합 실패"입니다. 모델은 수학, 코딩, 글쓰기 중 하나를 잘할 수 있습니다. 하지만 실제 일은 여러 능력이 엮여 돌아갑니다. 긴 문서를 읽고, 중요한 정보를 골라내고, 계획을 세우고, 모르면 불확실성을 드러내고, 실수 후 복구해야 합니다.
이 지점에서 강한 단일 벤치마크는 위험할 수 있습니다. 데모에서는 빛나지만, 실무에서는 기억 부족, 주의 이탈, 장기 계획 실패, 자기검증 부재가 한꺼번에 터집니다. 저는 앞으로 1~2년간 이런 제품을 "뾰족하지만 고르지 않은 지능"이라고 봅니다. 아주 특정 구간에서는 사람보다 빠르지만, 조금만 과제가 길어지거나 낯설어지면 급격히 성능이 흔들리는 형태입니다.
반론도 있습니다. 인지 분류가 실제 비즈니스 가치를 직접 측정하는 것은 아닙니다. 어떤 회사는 넓은 일반성보다 좁은 작업 자동화가 더 중요합니다. 맞는 말입니다. 다만 그 경우에도 이 프레임워크는 유용합니다. "어디까지 자동화하고 어디서 사람에게 넘길지"를 정하는 진단 도구로 쓸 수 있기 때문입니다.
AI 도입 전에 vendor에게 꼭 물어야 할 5가지
딥마인드와 Kaggle은 특히 학습, 메타인지, 주의, 실행기능, 사회적 인지의 평가 공백이 크다고 보고 해커톤을 열었습니다. 총 상금은 20만 달러이고, 접수는 3월 17일부터 4월 16일까지입니다.1
실무자는 이 프레임워크를 이렇게 번역하면 됩니다.
첫째, 낯선 상황에서 배우는가. 학습된 패턴을 반복하는지, 새 규칙을 짧은 지시만으로 흡수하는지 확인해야 합니다.
둘째, 모를 때 모른다고 말하는가. 메타인지가 약한 시스템은 자신감 있게 틀립니다.
셋째, 긴 작업에서 집중을 유지하는가. 주의 능력이 약하면 대화 10턴 뒤부터 엉뚱한 제약을 무시합니다.
넷째, 다단계 계획을 세우고 수정하는가. 실행기능이 약하면 툴 호출은 해도 순서, 우선순위, 복구가 엉망입니다.
다섯째, 사람과 얽힌 맥락을 읽는가. 사회적 인지가 약하면 컴플라이언스, HR, 고객지원처럼 톤과 함의가 중요한 영역에서 위험합니다.
벤더 데모를 볼 때는 "정답률 몇 %냐"보다 "실수 후 어떻게 복구하나", "긴 과제에서 성능이 얼마나 떨어지나", "불확실성을 어떻게 표현하나"를 물어야 합니다.
앞으로 바뀌는 것: AGI 카운트다운보다 제품 설계가 더 중요해진다
이 프레임워크는 누가 AGI 레이스에서 앞서는지 판정하는 심판표로 보기 쉽습니다. 하지만 더 현실적인 용도는 제품 설계 기준입니다. 어디에 가드레일을 둘지, 어느 단계에서 인간 검토를 넣을지, 어떤 실패를 시스템 차원에서 흡수할지 판단하는 데 더 직접적입니다.
특히 운영, 리서치, 고객응대, 개발 보조처럼 "한 번의 멋진 답"보다 "길고 지저분한 과정 관리"가 중요한 영역이라면 더 그렇습니다. 앞으로 잘 팔리는 AI는 완전한 범용 지능보다, 강한 영역은 자동화하고 약한 영역은 워크플로 설계와 사람 개입으로 메우는 제품일 가능성이 큽니다.
지금 이 프레임워크를 신경 써야 하는 사람은 AGI 예언가가 아니라, AI를 실제 업무에 넣는 팀입니다. 모델이 얼마나 똑똑해 보이는지보다, 어떤 인지 결손이 내 프로세스를 먼저 깨뜨릴지부터 보세요. 그 질문이 훨씬 돈이 되고, 덜 위험합니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.