우주망원경과 천문 관측소가 쏟아내는 데이터가 급증하면서, 이제 천문학자들도 AI용 GPU 수요를 키우는 한 축이 되고 있다. NASA의 로먼 우주망원경, 제임스 웹, 베라 루빈 관측소가 만들어낼 데이터 규모는 과거 허블 시절과 비교가 안 될 정도고, 이를 사람이 직접 보거나 CPU만으로 처리하는 방식은 이미 한계에 가까워졌다.1
하지만 이 이야기를 단순히 "GPU가 부족하다"는 공급 뉴스로만 보면 중요한 절반을 놓친다. 지금의 글로벌 GPU 대란은 재고와 가격의 문제가 아니라, 어떤 작업이 정말 비싼 GPU 시간을 받을 자격이 있는지 가르는 '컴퓨트 배분' 문제에 더 가깝다. 심지어 엔비디아 내부 연구팀도 GPU 할당이 부족하다고 말할 정도다.2
당신에게 필요한 건 GPU일까, 아니면 워크플로 재설계일까
GPU가 모자란다고 느끼는 팀이 실제로는 다른 병목에 걸려 있는 경우가 많다.
대표적 신호는 이렇다. 모델이 지나치게 크다. 배치가 비효율적이다. VRAM을 다 쓰지 못한다. 데이터 로딩과 전처리가 느려 GPU가 놀고 있다. 또는 애초에 해당 작업이 고급 GPU 없이도 돌아간다. 예를 들어 경량 추론, 전처리, 검색, 규칙 기반 파이프라인, 일부 분석성 작업은 CPU나 한 단계 아래 카드로도 충분한 경우가 많다.
이 점이 중요한 이유는, 지금 시장에서는 "최고급 GPU를 못 구했다"보다 "최고급 GPU가 꼭 필요하지 않은 작업에 최고급 GPU를 붙였다"가 더 비싼 실수이기 때문이다.
실제로 수요 압박은 최상위 제품에만 머물지 않는다. H100·B200 같은 상위 칩이 부족해지자 L40S, L4, RTX A6000, 더 오래된 제품까지 대체재로 함께 수요가 몰리고 있다.3 즉, 무작정 기다리면 언젠가 풀릴 거라는 기대도 위험하다. 상위 제품 부족이 중간급 제품의 가격과 리드타임까지 밀어 올리는 구조이기 때문이다.4
실무적으로는 먼저 이 질문부터 해야 한다.
"이 작업은 정말 최고급 GPU가 없으면 아예 못 하는가, 아니면 그냥 더 느려질 뿐인가?"
둘은 전혀 다른 문제다.
이제 필요한 건 구매 전략이 아니라 '컴퓨트 트리아지'다
지금은 작업을 네 등급으로 나눠 보는 편이 낫다.
최상위 GPU가 꼭 필요한 일은 대규모 모델 학습, 촉박한 시간제약이 있는 고성능 추론, 대규모 멀티모달 처리처럼 메모리와 처리량이 직접 경쟁력인 경우다. 반면 파인튜닝, 중간 규모 실험, 배치 추론, 렌더링 일부, 연구용 프로토타입은 한 세대 전 GPU나 클라우드 버스트로도 버틸 수 있다.
여기서 한 가지 역설이 있다. 효율화가 수요를 줄여줄 것 같지만, 꼭 그렇지는 않다. 엔비디아의 브라이언 카탄자로는 GPU 제약 속에서 효율적인 Nemotron 계열 모델 개발이 더 중요해졌다고 설명하면서, 효율이 높아지면 오히려 새 사용처가 늘어나는 '제번스 역설'도 함께 언급했다.2 해석하면 이렇다. 최적화는 필요하지만, 최적화만으로 GPU 대란이 끝나리라 기대하면 안 된다.
그래서 판단 기준은 단순하다.
기다릴 것인가?
작업이 지연돼도 사업 손실이 작고, 대체 하드웨어로 품질 저하를 감수할 수 있다면 기다릴 수 있다.
빌릴 것인가?
짧고 무거운 작업이라면 구매보다 임대가 낫다. 다만 하이퍼스케일러의 GPU 임대료는 전문 네오클라우드보다 훨씬 비쌀 수 있다.5
최적화할 것인가?
양자화, 증류, 작은 모델, 비동기 추론, 오프피크 배치 실행은 이제 "좋으면 하는 것"이 아니라 예산 방어 수단이다.
아예 GPU를 피할 것인가?
모든 AI 기능이 거대 모델과 고급 GPU를 필요로 하진 않는다. 제품 가치가 "즉시성"보다 "적당한 정확도와 낮은 비용"에 있다면 CPU, NPU, 저전력 엣지 추론 쪽이 더 맞을 수 있다.
연구자, 스타트업, 게이머가 같은 시장에서 부딪히고 있다
이번 사이클이 불편한 이유는 서로 다른 집단이 같은 공급망을 공유하기 때문이다.
천문학 연구자들은 새로운 망원경 데이터 때문에 GPU를 원한다.1 AI 기업들은 훈련과 추론 때문에 더 원한다. 클라우드 사업자는 대규모 선매입으로 시장을 더 조인다.6 메모리, 특히 HBM과 DRAM 제약까지 겹치면서 AI용 고수익 제품이 우선 배정되고, 그 여파가 게임용 GPU와 일반 PC 시장으로 번진다.47
이건 "AI 회사들끼리의 문제"가 아니다. 소규모 연구실은 노후 GPU 클러스터로 버텨야 하고, 스타트업은 실험 비용이 올라가며, 게이머는 신제품 출시 지연과 가격 상승을 체감한다.17 OpenAI의 데이터센터 계획이 에너지 비용 때문에 조정되고, 아마존은 수요를 근거로 대규모 투자를 정당화하는 상황도 결국 같은 이야기다. 병목은 칩 한 장이 아니라 전력, 메모리, 데이터센터 공간까지 포함한 전체 시스템에 있다.26
물론 반론도 있다. 결국 공급은 늘고, 더 나은 칩과 더 작은 모델이 등장하면 압박이 완화될 수 있다. 이건 맞는 말이다. 다만 시차가 문제다. 당장 1~2분기 운영을 책임지는 팀에게 "언젠가 좋아진다"는 말은 전략이 아니다.
가장 현실적인 대응은 GPU 풍요가 아니라 GPU 부족을 전제로 설계하는 것
지금 강한 팀은 GPU를 많이 산 팀이 아니라, GPU가 비싼 자원이라는 전제를 제품과 연구 프로세스에 반영한 팀일 가능성이 크다.
작은 모델부터 검증하고, 무거운 작업은 밤 시간대나 배치로 미루고, 한 번에 모두 실시간으로 처리하지 않으며, 고급 GPU가 필요한 단계와 아닌 단계를 분리하는 방식이다. 천문학처럼 데이터가 폭증하는 분야조차 CNN에서 트랜스포머로 옮겨가며 더 넓은 영역을 더 빠르게 처리하려는 이유도 결국 같은 맥락이다.1
지금 GPU 대란을 보는 가장 나쁜 방식은 "빨리 더 사야 한다"는 반사적 판단이다. 더 나은 질문은 이것이다. 내 작업 중 무엇이 정말 GPU를 먹어야 하는가. 그 질문에 답하지 못한 채 하드웨어부터 사면, 부족한 건 GPU가 아니라 설계 감각일 수 있다.
참고
1AI galaxy hunters are adding to the global GPU crunch
2Even Nvidia's own research teams can't get enough GPUs amid the race for AI computing power
3Fusion Worldwide: GPU Shortage and Price Increases in 2026
4Nvidia's once-tight bond with gamers is cracking over AI
5This CEO left Bloomberg to track GPUs. She explains why prices are 'going nuts.'
6What next for the compute crunch?
7AI data center boom 'stress tests' insurers as private capital floods in
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.