AI 연구자들이 가장 두려워하는 시나리오 중 하나는 언젠가 AI 시스템이 인간 개입 없이 스스로의 연구개발을 가속화하는 지점에 도달하는 것이다. 이른바 ‘AI R&D 자동화’의 임계점이다. 그런데 지금까지 이 임계점을 판별하는 방식은 놀라울 정도로 조야했다. “AI가 이 벤치마크를 통과했는가”라는 이분법적 질문에 의존했기 때문이다. 현실의 엔지니어링과 연구개발은 이처럼 단순한 통과/실패 게임이 아니다. 중요한 것은 한정된 예산과 시간 안에서 얼마만큼의 성능 개선을 이끌어낼 수 있느냐다.
이런 관점에서 METR가 최근 제안한 지출 지평선(expenditure horizon)이라는 개념은 AI 거버넌스 논의의 지형을 바꿀 수 있는 중요한 프레임워크다. 동일한 예산을 투입했을 때 인간과 AI 에이전트가 최적화 문제에서 달성하는 성능 개선이 같아지는 지점의 달러 가치로 정의되는 이 지표는, 단순한 성능 측정을 넘어 자본주의적 현실 원리인 ‘비용 대비 효용’을 직시하게 만든다 1 2.
이분법을 넘어 연속적 위험 평가로
기존의 AI R&D 벤치마크들, 예컨대 RE-bench나 MLE-bench는 연구 과제를 하나의 단위 작업으로 설정하고 ‘해결했는가’라는 최종 결과만을 추적했다. 이 방식은 직관적이지만 치명적인 약점을 가진다. 모델 간 차이가 크지 않을 경우 이를 통계적으로 감지하려면 엄청난 수의 반복 관측이 필요하다. 반면 METR의 지출 지평선 접근법은 이 벤치마크들을 일반화하면서도 연속 점수로 성능을 추적한다. 덕분에 더 적은 관측으로도 프런티어 모델 간 미세한 역량 차이를 정밀하게 포착할 수 있다 1.
측정을 위해서는 두 개의 곡선이 필요하다. 하나는 AI 에이전트의 지출 증가에 따른 추론 스케일링 곡선이고, 다른 하나는 인간 노동 지출에 대한 국소적 수익률을 나타내는 선이다. 전제는 명확하다. AI의 수익률 체감이 인간보다 더 빠르게 진행돼 어느 교차점에서 만난다는 가정이다. 만약 이 교차점조차 사라진다면, 즉 AI가 모든 예산 수준에서 인간보다 효율적으로 변한다면 지출 지평선은 정의되지 않는다. METR는 바로 이 순간이 여러 선도 연구소들의 책임 있는 스케일링 정책(RSP)이 정의하는 ‘자동화된 AI R&D’의 도래와 궤를 같이한다고 본다 1.
작은 실험, 큰 함의: NanoGPT가 보여준 현주소
이 접근법이 단순한 이론적 장식에 그치지 않는다는 점은 NanoGPT 스피드런이라는 실제 최적화 과제를 통해 검증됐다. NanoGPT 스피드런은 언어 모델의 훈련 속도를 끌어올리기 위해 오픈소스 커뮤니티가 경쟁적으로 매달려 온 일종의 프런티어 최적화 문제다. METR가 이 과제를 선택한 이유는 명확하다. 인간이 이미 광범위하게 최적화한 과제일수록 결과 해석 가능성이 높아지기 때문이다 1 3.
인간 생산성부터 추정했다. 1% 속도 향상을 위해 주요 기여자들은 약 16시간을 쏟아부었고, 시간당 150달러 임금 기준으로 환산하면 약 2,500달러의 비용이 발생했다. 총 25만 달러 상당의 인간 노동이 투입된 최적화 과제인 셈이다 1 3.
이후 GPT-5, GPT-5.2, GPT-5.5, Opus-4.1, Opus-4.8 등 5개의 AI 에이전트 모델이 동일한 과제에 투입됐다. GPT-5.5는 약 1%의 개선을, Opus-4.8은 약 1.5%의 개선을 달성하며 비로소 양의 지출 지평선을 기록했다. 반면 GPT-5와 Opus-4.1은 아무런 통계적으로 유의미한 개선을 내지 못했고, 사실상 지출 지평선이 0으로 수렴했다. 이들의 추정치는 0달러에서 3,300달러 사이로, 아직은 극히 제한된 예산 범위에서만 AI가 인간의 최적화 효율을 따라잡을 수 있음을 보여준다 1 3.
해석할 때 꼭 기억해야 할 세 가지 함정
이 결과를 해석할 때는 몇 가지 구조적 한계를 염두에 둬야 한다. 첫째, 이 수치는 순전히 ‘자율적’ 최적화만을 측정한다. 현실의 AI 연구 현장은 인간이 AI를 보조 도구로 삼는 하이브리드 작업이 지배적이며, 두 방식의 결합은 자율적 방식만으로는 도달할 수 없는 시너지를 낼 수 있다. 지출 지평선은 이러한 협업 효과를 의도적으로 배제한 하한선으로 읽어야 한다 1.
둘째, 이미 다른 에이전트의 최적화 기여가 존재하는 과제일수록 지출 지평선이 과소추정될 가능성이 높다는 점이다. 수익률이 완만하게 나타나는 문제에서 이 지표가 가장 유용하다는 METR의 설명은 역설적으로, 너무 잘 정리된 문제에서는 AI의 기여가 왜곡될 수 있음을 함의한다 1.
셋째, 이번 실험에서 가장 흥미로운 대목은 테스트에 포함되지 않은 모델들이다. Fable 5, GPT-5.6 Sol, 그리고 Opus 5는 이번 분석 대상이 아니었다. Opus 5는 2026년 7월 24일 기준 ARC-AGI-3 벤치마크에서 30.2%의 점수로 1위를 기록했는데, 이는 같은 계열의 Opus-4.8이 기록한 1.5%를 크게 상회하는 수치다 3. 다음 세대 모델에서 지출 지평선이 수천 달러에서 수십만 달러로 수직 상승할 가능성은 결코 낮지 않다.
무엇을 주시해야 하는가
METR의 지출 지평선은 단순한 비용 측정 도구가 아니다. AI가 인간의 생산성을 압도하기 시작하는 순간을 예산 축에서 포착함으로써, 거버넌스 주체들이 언제 RSP의 경보를 발령해야 하는지에 대한 정량적 참조점을 제공한다. 자율적 최적화 능력이라는 엄격한 기준에서조차 AI의 효율 곡선이 어떻게 움직이는지 추적하는 일은, 우리가 ‘AI가 AI를 설계하는’ 재귀적 위험으로부터 얼마나 떨어져 있는지를 가늠하는 가장 현실적인 잣대가 될 것이다.
1Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT - METR
2Metrics of Agent Ability - METR
3METR introduces a new metric to calculate exactly when AI agents become more expensive than humans
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.