공개 노트

소버린 AI는 필요한가? LLM 벤치마크 포화와 AI 모델 비용의 미래

2026-09-15Views 18약 10분생성형 AI 활용

AI 모델은 언제 더 이상 소각되지 않는가?

평가 지평선(Evaluation Horizon), 모델의 경제적 반감기, 그리고 소버린 AI의 경제학

프론티어 AI를 둘러싼 논의는 대개 “다음 모델은 얼마나 더 똑똑해질 것인가”에 집중한다. 하지만 반대 방향의 질문도 가능하다.

언제부터는 새 모델이 나와도 이전 모델을 경제적으로 폐기할 이유가 거의 없어질까?

여기서 말하는 ‘소각’은 모델 파일을 실제로 없앤다는 뜻이 아니다. 후속 모델이 더 높은 성능과 더 낮은 비용을 동시에 제공하면서, 이전 모델이 Pareto frontier에서 밀려 경제적 존속가치를 잃는 현상을 뜻한다.

이 질문을 따라가다 보면 단순한 모델 비교를 넘어 세 가지 문제가 연결된다.

AI 모델의 경제적 반감기는 계속 짧아질 것인가.
프론티어 AI는 능력의 천장(capability ceiling)보다 평가의 지평선(evaluation horizon)에 먼저 도달할 수 있는가.
그렇다면 한국의 소버린 AI 전략은 세계 최고 범용모델을 계속 추격하는 방향이어야 하는가.

1. 토큰 가격보다 중요한 것은 ‘성공한 작업 하나의 비용’이다

LLM API는 보통 100만 토큰당 가격으로 판매된다. 하지만 토큰은 계산량이나 지능의 단위가 아니다.

같은 100만 토큰이라도 모델의 구조, 활성 파라미터, 캐시 효율, 추론 길이, 하드웨어와 서빙 구조에 따라 실제 계산비용은 달라질 수 있다. 더 중요한 것은 값싼 모델이 여러 차례 실패하고 비싼 모델이 한 번에 성공할 수도 있다는 점이다.

따라서 실제 경제적 지표는 다음에 가까워진다.

Total Cost / Successful Task
일정한 품질·지연시간·신뢰성 조건을 만족하는 성공 작업 하나당 총비용

OpenAI 역시 2026년 이를 “Useful Intelligence per Dollar”, 그리고 cost per successful task라는 형태로 명시적으로 제시했다. 토큰 가격보다 실제로 완료된 작업의 비용을 보는 것이 중요하다는 것이다.

이 관점에서는 “신형 모델이 더 비싸다”는 문장도 충분하지 않다. 토큰당 가격이 높더라도 더 적은 토큰, 더 적은 재시도, 더 적은 인간 검수로 일을 끝낸다면 실제 작업당 비용은 낮을 수 있다.

2. 그렇다면 구형 모델은 왜 계속 ‘소각’되는가

가상의 모델 A와 후속 모델 B를 생각해보자.

항목	모델 A	모델 B
작업 성공률	90%	95%
평균 지연시간	3초	2초
성공 작업당 총비용	$1.00	$0.55
동일 업무 안정성	기준	더 높음
장기 에이전트 수행	보통	우수

B가 A보다 품질은 높고 비용은 낮으며 속도까지 빠르다면, A는 특별한 호환성이나 규제상의 이유가 없는 한 유지할 경제적 이유가 급격히 줄어든다.

즉 모델의 수명은 단순히 출시 후 몇 년이 지났는가보다 효율곡선에서 아직 살아 있는가에 의해 결정될 가능성이 크다.

이를 임시로 다음처럼 정의할 수 있다.

Economic Model Half-Life, EMHL

어떤 모델과 동일하거나 더 높은 품질·신뢰성·지연시간 조건을 만족하면서, 성공 작업당 비용이 절반 이하인 대체 모델이 등장하기까지 걸리는 시간

EMHL이 18개월에서 12개월, 다시 6개월로 짧아진다면 모델의 경제적 노후화가 가속되고 있다는 뜻이다.

반대로 어느 시점부터 EMHL이 길어지기 시작한다면 두 가지 가능성을 생각할 수 있다.

실제 모델 발전이 포화되고 있거나
특정 업무에서 이미 충분히 효율적인 모델이 만들어져 후속 모델의 한계효용이 작아지고 있거나

이 지점에서 더 중요한 문제가 등장한다.

3. 능력의 천장보다 ‘평가의 천장’이 먼저 올 수 있다

2026년 발표된 When AI Benchmarks Plateau 연구는 주요 개발사 기술보고서에서 사용된 60개의 LLM 벤치마크를 분석했고, 거의 절반이 이미 포화 상태라는 결과를 보고했다. 특히 전문가가 직접 만든 평가가 크라우드소싱 평가보다 포화에 더 오래 버티는 경향을 보였다.

또 다른 2026년 연구 The Benchmark Ceiling은 프론티어 모델이 기존 평가를 포화시킬수록 모델 간 차이를 가르는 정보가 극도로 어려운 ‘hard tail’ 문제에 집중되고, 이런 문제를 제작할 수 있는 최고 수준 전문가의 판단 자체가 희소한 자원이 된다고 주장한다.

이것은 중요한 역설을 만든다.

AI가 문제를 푸는 능력이 증가하는 속도보다, 인간이 AI를 구분할 정도로 어려운 문제를 제작하고 검증하는 비용이 더 빠르게 증가할 수 있다.

실제로 GPT-6 Astra는 OpenAI가 공개한 평가에서 FrontierMath Tier 4 98%, ARC-AGI-3 99.9%, ExploitBench 100%를 기록했다. 모든 지적 능력이 포화됐다는 의미는 아니지만, 일부 고난도 벤치마크에서는 이미 기존 평가척도의 분해능이 빠르게 줄고 있음을 보여주는 사례다.

Anthropic의 Claude Fable 5 역시 소프트웨어 엔지니어링, 과학 연구, 장기 전문업무 등에서 이전 모델보다 특히 길고 복잡한 과제일수록 격차가 커진다고 설명된다.

여기서 다음 가설을 세울 수 있다.

Frontier models may reach an evaluation horizon before they reach a capability ceiling.
프론티어 모델은 능력의 천장에 도달하기 전에 인간의 평가 지평선에 먼저 도달할 수 있다.

4. Evaluation Horizon이 온다면 경쟁의 축은 바뀐다

모델 A, B, C가 기존 벤치마크에서 각각 98%, 99%, 99%를 기록한다고 해보자.

표면적으로는 차이가 거의 없다.

하지만 실제 장기 업무에서는 다음과 같을 수 있다.

모델	정적 벤치마크	실제 장기 작업 성공률	성공 작업당 비용
A	98%	45%	$2.00
B	99%	62%	$0.80
C	99%	70%	$0.40

벤치마크는 평평해졌지만 실제 능력과 경제성은 계속 개선된다.

이때 경쟁의 중심은 더 이상 단순한 Intelligence Frontier가 아니다.

Intelligence Frontier → Evaluation Horizon → Efficiency Frontier

프론티어 성능 상승 → 기존 벤치마크 포화 → 모델 간 차이 측정 비용 증가 → 경쟁축 이동 → 성공 작업당 비용 / 지연시간 / 신뢰성 / 에너지 효율 / 장기 자율성

경쟁은 점차 Efficiency Frontier로 이동한다.

그 시점부터 중요한 질문은 “어느 모델이 IQ가 가장 높은가”보다 다음에 가까워진다.

필요한 수준의 지능을 누가 가장 싸고, 빠르고, 안정적으로 공급할 수 있는가?

5. 이 가설은 어떻게 검증할 수 있을까

이 가설은 철학적 주장에 그치지 않고 실증 가능하다.

① 벤치마크 분해능의 변화

세대별 프론티어 모델에서 기존 벤치마크의 상위 모델 간 점수 분산을 측정한다. 실제 open-world 과제에서는 차이가 계속 존재하는데 기존 벤치마크 점수만 수렴한다면 evaluation compression이 발생하고 있다는 신호다.

② 평가 제작비의 증가

모델 간 성능 차이를 유의미하게 구분하는 신규 문제 하나를 제작하는 데 필요한 다음 항목을 기록한다.

전문가의 숙련도
문제 제작 시간
정답 검증 시간
전문가 간 합의율
문제 폐기율
평가 한 건당 총비용

모델 능력의 증가보다 discriminative evaluation cost가 더 빠르게 증가한다면 Evaluation Horizon 가설이 강해진다.

③ 닫힌 시험과 열린 과제의 격차

정답이 미리 존재하는 시험에서는 모델들이 비슷한 점수를 받지만, 실제 연구·코딩·에이전트 업무처럼 열린 과제에서 모델 간 격차가 다시 벌어진다면 capability ceiling이 아니라 measurement ceiling일 가능성이 커진다.

④ 경제적 성과의 지속적 개선

정적 벤치마크 점수는 포화됐는데도 $/successful task, latency, human-review cost가 계속 떨어진다면 모델 경쟁축이 intelligence에서 efficiency로 이동한다는 직접적인 증거가 된다.

6. 역설적으로 이것은 한국의 소버린 AI 전략과 연결된다

한국 정부의 독자 AI 파운데이션 모델 프로젝트는 글로벌 선도 모델 대비 95% 이상 성능을 목표로 GPU·데이터·인재를 집중 지원하는 전략을 추진해 왔다.

이는 현재 시점에서는 충분히 이해 가능한 전략이다. 해외 모델에 대한 완전한 의존은 공급망, 안보, 데이터 주권의 위험을 갖기 때문이다.

그러나 Evaluation Horizon 가설이 맞다면 질문을 한 단계 더 세분화해야 한다.

소버린 AI가 필요한가?
와
세계 최고 수준의 범용 프론티어 모델을 계속 독자 개발해야 하는가?
는 같은 질문이 아니다.

세계 최고 모델의 실질 업무능력을 100이라고 할 때 국내 모델이 95라고 가정해보자.

그런데 국내 모델이 다음 조건을 가진다면 어떨까.

국내 인프라에서 완전한 통제 가능
한국어·행정·법률·제조업 특화
성공 작업당 비용이 현저히 저렴
외부 공급중단 위험이 없음
국산 NPU 및 데이터센터에 최적화
국방·공공망에서 독립적으로 운용 가능

이 경우 국가적 효용에서는 100짜리 해외 모델보다 95짜리 국내 모델이 더 높은 가치를 가질 수도 있다.

그렇다면 소버린 AI의 목표함수는 다음처럼 바뀔 가능성이 있다.

기존 목표	대안적 목표
Sovereign Frontier Intelligence	Sovereign Intelligence Infrastructure
세계 최고 모델 추격	필요한 지능의 독립적 공급능력
벤치마크 점수 중심	성공 작업당 비용·신뢰성·통제권
범용 모델 중심	국가·산업 특화 + 효율적 라우팅
모델 자체가 전략자산	Compute·Data·Inference Stack 전체가 전략자산

즉 한국이 반드시 포기해야 한다는 결론은 아니다.

오히려 더 중요한 질문은 다음이다.

언제까지 frontier capability를 직접 추격하는 것이 최적이고, 어느 시점부터 sovereign inference capacity를 강화하는 것이 더 높은 국가적 수익률을 만드는가?

7. ‘소각되지 않는 모델’은 가장 똑똑한 모델이 아닐 수 있다

결국 오래 살아남는 모델은 절대적으로 가장 지능적인 모델이 아니라 특정한 비용·성능 공간에서 계속 Pareto frontier에 남는 모델일 가능성이 높다.

예를 들어 어떤 모델이 후속 세대보다 평균지능은 조금 낮더라도 다음 중 하나에서 압도적 우위를 가진다면 오래 존속할 수 있다.

극단적으로 낮은 추론비용
매우 낮은 latency
작은 memory footprint
특정 산업에서 높은 reliability
로컬·온디바이스 실행
안정적인 deterministic behavior
특정 하드웨어에서의 압도적 효율

따라서 미래 AI 모델의 핵심 질문은 단순히 “얼마나 똑똑한가”에서 다음으로 이동할 수 있다.

얼마나 오랫동안 경제적으로 대체되지 않는가?

결론: 지능보다 지능의 생산비용을 봐야 한다

현재까지의 논의를 하나의 연쇄가설로 압축하면 다음과 같다.

① 프론티어 AI의 능력은 계속 증가한다.
② 그러나 인간의 평가체계가 먼저 포화될 수 있다.
③ 평가 가능한 지능차이의 한계효용이 줄어들면 경쟁은 efficiency frontier로 이동한다.
④ 모델의 가치는 benchmark score보다 cost per successful task에 의해 결정되기 시작한다.
⑤ 이 변화는 소버린 AI의 최적 전략을 ‘최고 모델 보유’에서 ‘필요한 지능의 독립적·경제적 공급’으로 이동시킬 수 있다.

그래서 프론티어 AI의 성숙을 판별하는 가장 흥미로운 질문은 어쩌면 이것일 수 있다.

다음 세대가 등장해도 경제적으로 소각되지 않는 첫 번째 AI 모델은 언제 등장할 것인가?

그 순간은 단순한 모델 출시 이상의 의미를 가질 수 있다.

AI가 더 이상 “누가 가장 높은 지능을 만들 것인가”만을 경쟁하는 산업이 아니라, 지능을 하나의 보편적 생산요소로 얼마나 효율적으로 공급할 것인가를 경쟁하는 산업으로 넘어가는 변곡점일 수 있기 때문이다.

연구를 위해 추가로 정의해볼 수 있는 지표

지표	정의	의미
EMHL (Economic Model Half-Life)	동일 이상의 품질을 절반 이하 성공작업당 비용으로 제공하는 대체 모델이 등장하기까지의 시간	모델의 경제적 수명
Evaluation Cost / Discriminative Bit	두 프론티어 모델을 통계적으로 구분하는 정보량을 얻는 데 필요한 평가비용	평가 희소성
$/Successful Task	요구 품질을 만족한 작업 1건의 총비용	실제 AI 경제성
Sovereign Cost / Successful Task	국가 통제·보안·공급망 조건을 포함한 성공작업당 총비용	소버린 AI 정책 효율
Evaluation–Capability Gap	정적 벤치마크의 모델 간 분산과 open-world 성능 분산의 차이	평가 포화 정도

참고자료

Akhtar, M. et al. (2026). When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation. arXiv / ICML 2026.
https://arxiv.org/abs/2602.16763
Esposito, M., Zhang, L., Ansari, A. (2026). The Benchmark Ceiling: Human Judgment, Evaluation Scarcity, and the Political Economy of AI Capability Measurement.
https://arxiv.org/abs/2607.01254
OpenAI (2026). A scorecard for the AI age. — Useful Intelligence per Dollar 및 cost per successful task 논의.
https://openai.com/index/a-scorecard-for-the-ai-age/
OpenAI (2026). GPT-6 Astra: A new generation of intelligence.
https://openai.com/index/gpt-6-astra/
OpenAI (2026). How GPT-5.6 fuses frontier intelligence with frontier efficiency.
https://openai.com/index/gpt-5-6-frontier-intelligence-efficiency/
Anthropic (2026). Claude Fable 5 and Claude Mythos 5.
https://www.anthropic.com/news/claude-fable-5-mythos-5
과학기술정보통신부 (2026). 독자 AI 파운데이션 모델 프로젝트 관련 공고 및 정책자료.
https://www.msit.go.kr/

PRIMARY KEYWORDS: 소버린 AI, LLM 벤치마크, AI 모델, 프론티어 AI, AI 추론 비용

SECONDARY KEYWORDS: benchmark saturation, evaluation horizon, AI model obsolescence, LLM inference cost, cost per successful task, sovereign inference, GPT-6 Astra, Claude Fable 5

작성자 메모

이 글은 “AI 능력이 이미 포화됐다”는 주장이 아니다. 핵심은 오히려 그 반대다.
능력이 계속 상승하더라도 인간이 그 차이를 평가하는 체계가 먼저 병목에 도달할 가능성, 그리고 그 이후 AI 산업과 국가전략의 목표함수가 어떻게 변할지를 탐색하는 가설이다.