AI 서비스를 고르는 일이 점점 어려워지고 있습니다. 모델 성능만 보면 부족합니다. 앞으로는 "이 회사가 어떤 칩으로, 얼마만큼 안정적으로, 어떤 비용 구조로 모델을 돌릴 수 있느냐"가 가격과 속도, 장애 가능성까지 좌우할 수 있기 때문입니다.
최근 OpenAI의 자체 AI 칩 계획은 이 질문을 더 현실적으로 만들었습니다. The Decoder는 The Information을 인용해 Broadcom이 OpenAI 칩 생산에 본격 투자하려면 Microsoft가 초기 물량의 약 40%를 구매해야 한다는 조건을 걸었다고 전했습니다. 첫 단계 비용은 약 180억 달러, 전체 프로젝트의 칩 생산비는 최대 1,800억 달러로 거론됩니다.1
OpenAI가 통제하려는 것은 칩이 아니라 'AI 원가 구조'다
이 이야기를 "OpenAI가 Nvidia를 이길 수 있나"로 보면 절반만 보게 됩니다. 더 중요한 질문은 OpenAI가 무엇을 직접 통제하려 하느냐입니다.
OpenAI와 Broadcom은 2025년 10월, OpenAI가 설계한 AI 가속기를 기반으로 10기가와트 규모의 인프라를 구축하겠다는 계획을 공개했습니다.2 CNBC 보도에 따르면 이 시스템은 단순 칩이 아니라 네트워킹, 메모리, 컴퓨트가 함께 맞물린 랙 단위 인프라입니다.2
이 차이가 큽니다. 대규모 AI 서비스에서 비용은 모델 학습보다 매일 발생하는 추론, 즉 사용자의 질문에 답을 생성하는 과정에서 계속 쌓입니다. OpenAI가 자체 칩을 inference 중심으로 설계한다면 목표는 "가장 빠른 범용 GPU"가 아니라 "ChatGPT 같은 워크로드를 가장 싸고 예측 가능하게 돌리는 기계"에 가깝습니다.
실무적으로는 가격표에 영향을 줍니다. API 단가, 사용량 제한, 엔터프라이즈 계약의 최소 약정, 피크 시간 응답 속도는 모두 백엔드 컴퓨트 원가와 연결됩니다. 자체 칩이 성공하면 OpenAI는 단가를 낮추거나, 같은 가격에 더 긴 컨텍스트·멀티모달 기능·빠른 응답을 제공할 여지가 생깁니다.
Broadcom의 조건은 기술 문제가 아니라 금융 문제를 드러낸다
이번 보도에서 흥미로운 부분은 칩 설계 난이도보다 "누가 이 물량을 보증하느냐"입니다. Broadcom 입장에서는 OpenAI가 아무리 전략적으로 중요한 고객이어도 수백억 달러 규모 생산 리스크를 혼자 떠안기 어렵습니다. 그래서 Microsoft의 구매 약속이 일종의 신용 보강 장치로 거론되는 것입니다.1
이는 OpenAI가 아직 상장 기업이 아니라는 점과도 맞물립니다. 거대한 AI 인프라 계약은 발표만으로 굴러가지 않습니다. 반도체 생산, 패키징, 메모리, 데이터센터 전력, 네트워크 장비까지 선투자가 필요합니다. 누군가는 장기 수요를 보증해야 합니다.
반대로 Microsoft에도 계산이 있습니다. TechCrunch에 따르면 Microsoft는 OpenAI의 칩 설계 성과에 접근할 수 있는 권리를 확보했고, OpenAI 모델 접근권도 2032년까지 유지하는 방향으로 협력 구조를 조정했습니다.3 Microsoft가 OpenAI 칩 일부를 떠안는다면 단순 고객이 아니라 OpenAI의 하드웨어 로드맵을 활용하는 파트너가 됩니다.
효율은 올라가지만, 이동성은 낮아질 수 있다
커스텀 칩의 장점은 명확합니다. 특정 모델 구조와 추론 패턴에 맞춰 회로, 메모리 대역폭, 네트워킹을 최적화할 수 있습니다. Reuters를 인용한 TechPowerUp 보도에서도 OpenAI의 첫 자체 칩은 학습보다 추론에 초점을 맞춘 것으로 설명됩니다.4
하지만 여기에는 반대급부가 있습니다. OpenAI 모델과 런타임이 자체 칩에 깊게 최적화될수록, 같은 워크로드를 다른 클라우드나 다른 모델 제공자로 옮겼을 때 성능과 비용이 달라질 수 있습니다.
스타트업과 기업 구매자에게 중요한 함의는 이것입니다. "OpenAI가 싸지고 빨라진다"는 좋은 소식일 수 있지만, 동시에 특정 플랫폼에 더 깊게 묶이는 구조가 될 수 있습니다. 장기 계약을 검토한다면 모델 품질뿐 아니라 데이터 이동성, 대체 모델 성능, 멀티벤더 운영 비용을 함께 봐야 합니다.
앞으로 볼 세 가지 신호
OpenAI의 자체 칩 전략이 실제로 먹히는지는 발표가 아니라 운영 지표에서 드러납니다.
첫째, 이 칩이 학습용이 아니라 추론용으로 얼마나 빨리 투입되는지 봐야 합니다. 추론에 투입되면 사용자 체감 변화가 더 빠릅니다.
둘째, API 가격이나 rate limit이 완화되는지 봐야 합니다. 비용 절감이 내부 마진으로만 남는지, 고객 가격과 사용성으로 내려오는지가 핵심입니다.
셋째, 경쟁사가 따라오기 어려운 기능이 나오는지 봐야 합니다. 예를 들어 긴 컨텍스트, 실시간 음성·영상 응답, 대량 에이전트 실행 같은 기능은 모델만이 아니라 인프라 비용 구조가 받쳐줘야 합니다.
결국 OpenAI의 커스텀 AI 칩은 Nvidia 대체 서사가 아닙니다. AI 회사들이 컴퓨트를 "구매하는 자원"에서 "제품을 설계하는 무기"로 바꾸고 있다는 신호입니다. AI를 도입하는 기업이라면 이제 모델 벤치마크만 볼 것이 아니라, 그 모델이 어떤 칩 전략 위에서 운영되는지도 함께 봐야 합니다.
참고
1Broadcom reportedly won't build OpenAI's custom chip unless Microsoft buys 40 percent of them
2Broadcom stock pops 9% on OpenAI custom chip deal, adding to Nvidia and AMD agreements
3Microsoft's plan to fix its chip problem is, partly, to let OpenAI do the heavy lifting
4OpenAI Designs its First AI Chip in Collaboration with Broadcom and TSMC | TechPowerUp
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.