핵심 요약
GDPval은 실제 직업 현장의 지식 노동을 기반으로, AI 모델이 경제적으로 가치 있는 업무를 얼마나 잘 수행하는지 측정하는 평가 체계이다.
단순 시험 문제가 아니라 문서, 슬라이드, 설계 등 실제 결과물을 기준으로 인간 전문가와 AI를 정면 비교한다.
이를 통해 "AI가 어떤 실제 일을, 어느 수준까지, 얼마나 효율적으로 할 수 있는가"를 수치가 아니라 사례로 보여주는 도구다.
GDPval이란 무엇인가
GDPval은 OpenAI가 만든 "현실 세계 지식 노동용" 평가 시스템으로, 모델이 실제 직업 업무를 어느 수준까지 대체하거나 보조할 수 있는지 측정하는 데 초점을 둔다.
기존의 수능형 시험, 코딩 문제 등은 추론 능력과 지식을 측정하는 데 강점이 있지만, 사람들이 직장에서 수행하는 복잡한 문서 작성, 설계, 분석, 기획 등과는 거리가 있었다.
GDPval은 이 간극을 줄이기 위해, 실제 산업에서 경제적 가치를 만드는 작업만을 골라 모델에게 시켜보고, 그 결과물을 전문가와 비교해 평가한다는 점이 핵심이다.
기존 벤치마크와 무엇이 다른가
전통적인 벤치마크(MMLU, 시험형 문제)는 "정답이 있는 퀴즈"에 가깝고, SWE-Bench, MLE-Bench, Paper-Bench, SWE-Lancer와 같은 실용 벤치마크는 주로 특정 분야(코드, 논문, 프리랜서 개발)에 집중한다.
GDPval은 여기서 한 걸음 더 나아가, 다양한 산업과 직업 전체를 가로지르며 "실제 직무 결과물"을 평가 대상으로 삼는다.
또한 입력도 단순 텍스트 프롬프트만이 아니다. 법률 문서, 고객 대화 로그, 설계 도면, 간호 계획 등 현실에서 실제로 쓰이는 문서와 파일들이 함께 주어지고, 출력도 PPT, 보고서, 설계 요약, 스프레드시트 등 실제 업무 산출물 형태로 요구된다.
즉 "시험 문제를 푸는 AI"가 아니라 "업무를 대신 처리해주는 동료"로서 모델을 테스트하는 구조에 가깝다.
어떤 직업을 대상으로 하나
GDPval 1차 버전은 미국에서 GDP 기여도가 큰 상위 9개 산업을 먼저 고른 후, 각 산업에서 지식 노동 비중이 높은 직업들을 선별해 총 44개 직업을 다룬다.
부동산, 정부, 제조, 전문·과학·기술 서비스, 의료·사회 지원, 금융·보험, 소매, 도매, 정보 산업이 포함되며, 각 산업별로 "주로 머리로 일하는 직종"을 중심으로 선택했다.
예를 들어 소프트웨어 개발자, 변호사, 회계사, 프로젝트 매니저, 등록 간호사, 기계/산업 엔지니어, 금융 분석가, 뉴스 기자, 편집자, 영업 관리자, 부동산 중개인 등 다양한 직업이 포함된다.
이 기준을 정할 때 미국 노동부 O*NET 데이터베이스를 활용해, 각 직업의 세부 작업 중 최소 60% 이상이 육체 노동이 아닌 "지식 작업"인 직업만 골랐다.
데이터세트는 어떻게 만들어졌나
각 직업마다 평균 경력 14년 이상의 숙련된 현업 전문가들이 참여해, 실제로 자신들이 자주 하는 일을 토대로 평가용 작업을 설계했다.
이 작업들이 단지 "특정 전문가에게만 가능한 특수 일"이 아니라, 같은 분야의 다른 전문가도 수행할 수 있고 평가 가능하도록 만들기 위해 여러 단계의 검토 과정을 거쳤다.
각 작업은 다른 전문가의 상호 검토, 별도 직업별 검토자 평가, 모델을 이용한 품질 점검 등 약 5회 정도의 전문가 검토를 통과한 뒤에야 최종 데이터로 포함된다.
최종적으로는 직업당 30개 정도의 완전 검토된 작업이 준비되며, 그중 일부(직업당 5개)는 오픈 소스로 공개되는 골드 세트로 제공된다.
실제 작업의 예시는 어떤 모습인가
예시로 제조업의 "제조 엔지니어" 작업을 보면, 자동차 조립 라인에서 케이블 스풀링 트럭의 최종 테스트 단계를 개선하는 과제가 주어진다.
상황 설명, 현재 공정 문제(인력 2명이 필요, 위험과 복잡성, 작업 공간 혼잡 등), 개선 목표(1인 작업이 가능한 지그/픽스처 설계), 제공 자료(케이블 릴 크기, 설계 가이드 문서) 등이 상세히 주어진다.
모델은 3D 모델링 도구로 설계를 했다고 가정하고, 그 결과를 요약하는 프레젠테이션을 만들어 PDF로 제출해야 한다.
정답은 실제 제조 엔지니어가 설계한 개념 설계와 설명 문서이며, 모델의 결과물은 이 전문가 해법과 직접 비교된다.
이처럼 과제가 "현실 공정 개선"에 가까운 것이 GDPval의 특징이다.
실제 결과물 예시
어떻게 채점하고 비교하는가
GDPval에서는 해당 직업의 숙련된 전문가들이 "채점자"로 참여해, 인간 전문가의 결과물과 여러 AI 모델의 결과물을 블라인드로 비교한다.
채점자는 어떤 결과물이 AI가 만든 것인지 모르는 상태에서, 작업 작성자의 기준(직업별 세부 평가표)에 따라 품질을 평가하고, 인간 vs AI 결과물의 상대적 우열도 판단한다.
또한 각 AI 결과물에 대해 "우수·보통·나쁨" 등급을 매기며, 인간 출력보다 나은지, 비슷한지, 못한지를 집계해 모델별 승률을 계산한다.
추가로, 사람 채점자의 선호를 모방하도록 훈련한 "자동 채점기" AI를 만들어 빠른 대량 평가에 활용하지만, 아직 인간 채점자를 대체할 수준은 아니라고 밝히고 있다.
초기 결과가 말해주는 것
여러 최신 모델(GPT‑4o, o4-mini, o3, GPT‑5, Claude Opus 4.1, Gemini 2.5 Pro, Grok 4 등)을 GDPval 골드 세트에서 비교한 결과, 최상위 모델들은 이미 업계 전문가가 만든 결과물과 상당히 비슷한 수준에 도달했다.
Claude Opus 4.1은 특히 문서·슬라이드의 미학적 완성도(레이아웃, 구성)에서 장점을 보였고, GPT‑5는 도메인 지식의 정확성과 사실성에서 강점을 보였다고 요약된다.
2024년 봄의 GPT‑4o와 2025년 여름의 GPT‑5를 비교하면, GDPval 기준 성능이 1년 만에 두세 배 수준으로 상승했으며, 성능 개선 추세도 비교적 선형적으로 나타난다.
또한 모델 추론 시간과 API 비용 기준으로는, 일부 작업에서 모델이 인간 전문가보다 약 100배 빠르고 100배 저렴하게 결과물을 낼 수 있는 경우가 관찰되었다고 설명한다.
한계와 앞으로의 확장 방향
GDPval 1차 버전은 "한 번에 끝나는 작업"을 기준으로 하기 때문에, 실제 업무에서 흔한 장기 협업·반복 작업을 충분히 포착하지 못한다는 한계가 있다.
예를 들면, 고객 피드백을 반영해 법률 문서를 여러 번 고쳐 쓰거나, 데이터 분석을 반복하며 가설을 수정하는 과정, 혹은 처음에는 문제 정의가 모호하고 사람과의 대화를 통해 과제를 정제해 가는 과정 등은 아직 잘 반영되지 않는다.
또한 모든 작업이 상대적으로 명확한 프롬프트와 참조 자료로 정의되어 있지만, 실제 직업 현장에서는 "무엇을 해야 할지 정하는 것" 자체가 중요한 업무의 일부인 경우가 많다.
향후 버전에서는 더 많은 직업과 산업, 상호작용이 많은 작업, 모호성을 다루는 업무, 여러 단계에 걸친 워크플로 등으로 확장해, 실제 지식 노동의 복잡성을 더 잘 반영하는 것을 목표로 한다.
AI와 일의 미래에 대한 시사점
초기 GDPval 결과는, 특정 유형의 지식 작업에서는 AI 모델이 이미 일부 전문가보다 더 빠르고 더 저렴하게, 상당히 비슷한 품질의 산출물을 만들 수 있음을 보여준다.
그러나 대부분의 직업은 단순히 "문서 N개 작성"의 합이 아니라, 문제 정의, 우선순위 결정, 사람 간 협업, 책임과 판단, 관계 형성 등 텍스트로 표현하기 어려운 요소를 포함한다.
GDPval은 AI가 이 중에서 특히 자동화 가능성이 높은 "반복적이고 명확히 정의된 지식 작업"을 맡아줌으로써, 사람이 창의적 사고와 고난도 판단에 더 집중할 수 있는 여지를 만들 수 있다고 본다.
이 변화가 단순한 대체가 아니라 "보완"의 방향으로 갈 수 있도록, OpenAI는 평가를 공개하고, 업계 전문가와 고객이 함께 GDPval을 확장해 나가길 유도하며, AI 혜택을 더 넓게 분배하는 정책과 시스템 설계를 강조하고 있다.
인사이트
GDPval은 "AI가 시험을 잘 보느냐"가 아니라 "AI가 실제로 일을 해줄 수 있느냐"를 묻는 평가 체계다.
어떤 직무에서 AI를 도입할지 고민할 때, 막연한 기대 대신 "해당 직무의 실제 산출물을 기준으로 모델을 시험해 보는 것"이 합리적인 접근이라는 점을 보여준다.
실무 관점에서 활용하려면,
첫째, 우리 조직의 핵심 지식 작업을 GDPval처럼 구체적인 과제로 쪼개 보고,
둘째, 그 중 반복적이고 명확한 작업부터 AI에게 맡겨 시범 운영해 보며,
셋째, 사람과 AI의 역할 분담(문제 정의·판단은 인간, 초안 작성·분석은 AI 등)을 명시적으로 설계하는 것이 효과적이다.
AI를 "만능 대체 인력"으로 보기보다, GDPval이 보여주듯 "특정 작업에 매우 능한 도구"로 보고, 어떤 작업에서 진짜 경제적 가치를 내는지 계속 측정하고 조정하는 태도가 앞으로의 경쟁력을 좌우하게 될 것이다.
출처 및 참고 : 실제 작업에서 OpenAI 모델의 성능 측정하기 | OpenAI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.