구글이 마벨과 함께 AI용 맞춤 칩 2종을 논의 중이라는 보도가 나왔습니다. 하나는 TPU 옆에서 데이터 이동을 돕는 메모리 처리 칩, 다른 하나는 추론 전용 TPU입니다.12 아직 계약 체결이 확인된 것은 아니지만, 이 뉴스가 중요한 이유는 "누가 더 빠른 GPU를 갖느냐"보다 "누가 추론 비용을 더 싸게 만들 수 있느냐"가 다음 승부처라는 점을 드러내기 때문입니다.
많은 사람이 AI 칩 경쟁을 FLOPS 경쟁으로 이해합니다. 하지만 실제 서비스 운영에서는 계산 자체보다, 모델 가중치와 KV 캐시를 메모리에서 꺼내고 옮기고 다시 쓰는 과정에서 시간·전력·비용이 더 많이 새는 경우가 많습니다. 이번 구글-마벨 논의는 바로 그 병목을 겨냥한 움직임으로 읽는 편이 훨씬 실무적입니다.
AI 추론의 병목은 "계산 부족"보다 "데이터 이동 낭비"에 가깝다
확인된 사실부터 보겠습니다. 보도에 따르면 구글이 검토 중인 칩 중 하나는 TPU와 함께 동작하는 메모리 처리 유닛입니다.12 이 표현 자체가 힌트입니다. 지금 문제를 계산 유닛 추가가 아니라 메모리 처리 계층에서 보고 있다는 뜻이기 때문입니다.
대형 모델 추론은 단순히 곱셈을 많이 하는 작업이 아닙니다. 매 요청마다 거대한 가중치를 읽고, 토큰이 늘어날수록 캐시를 다루고, 여러 칩과 메모리 사이를 오가며 데이터를 계속 이동시켜야 합니다. 이때 병목이 생기면 연산기는 놀고 있는데도 지연시간은 늘고 전력은 더 듭니다.
그래서 추론용 칩 뉴스에서 먼저 봐야 할 것은 최고 성능 수치가 아닙니다. 메모리 대역폭, 온칩 SRAM 활용, HBM 의존도, 칩 간 인터커넥트, 그리고 소프트웨어가 이를 얼마나 잘 감추는지입니다. 구글이 굳이 "메모리 처리" 성격의 보조 칩까지 검토한다면, 추론 인프라의 낭비 지점이 어디인지 꽤 명확하게 보고 있다는 해석이 가능합니다.
실무적으로는 이게 중요합니다. AI 서비스를 운영하는 기업 입장에서는 모델 성능 5% 향상보다 요청당 원가 하락, 지연시간 안정화, 전력당 처리량 개선이 더 직접적인 경쟁력이기 때문입니다.
구글이 정말 사려는 것은 칩이 아니라 추론 마진의 통제력일 수 있다
구글은 이미 TPU를 오래 해왔고, 최근 공개한 7세대 TPU 아이언우드를 "추론의 시대를 위한 첫 TPU"라고 설명했습니다. 아이언우드는 최대 9,216개 칩의 슈퍼팟으로 확장되며, 구글은 올해 수백만 개 단위의 배치를 계획 중인 것으로 전해졌습니다.34 이번 마벨 협력설은 기존 TPU 전략의 연장선이지, 갑작스러운 방향 전환은 아닙니다.
여기서 핵심은 공급망과 마진입니다. 구글은 이미 브로드컴과 2031년까지 TPU 관련 장기 계약을 맺었고, 미디어텍과도 비용 최적화형 변종에서 협력해왔습니다.4 즉 마벨이 들어온다고 해서 브로드컴이 빠지는 구도가 아니라, 설계 파트너를 분산해 가격 협상력과 공급 안정성을 높이려는 흐름에 가깝습니다.
이건 엔비디아 대체 서사로만 보면 놓치기 쉽습니다. 맞춤형 칩의 진짜 장점은 "GPU보다 더 빠르다"가 아니라, 특정 워크로드에서 더 예측 가능한 비용 구조를 만든다는 데 있습니다. 검색, 광고, 클라우드 API, 챗봇처럼 요청량이 큰 서비스에서는 쿼리당 비용이 조금만 내려가도 총액 차이는 매우 커집니다.
물론 반론도 있습니다. 커스텀 칩은 개발 기간이 길고, 양산 리스크가 크며, 소프트웨어 호환성까지 직접 책임져야 합니다. 범용 GPU는 여전히 개발 속도와 생태계 면에서 강합니다. 그래서 이번 뉴스도 "마벨이 엔비디아를 위협한다"보다 "구글이 추론 economics를 더 세밀하게 쪼개 관리하려 한다"로 읽는 편이 정확합니다.
앞으로 AI 칩 뉴스를 볼 때 확인할 4가지
이번 건을 일회성 이슈로 소비할 필요는 없습니다. 앞으로 비슷한 발표를 볼 때는 네 가지만 보면 됩니다.
첫째, 훈련용인지 추론용인지. 지금 돈이 더 오래 새는 쪽은 대개 추론입니다. 추론용이면 서비스 원가와 직접 연결될 가능성이 큽니다.
둘째, 메모리 병목을 건드리는지. 연산 성능 수치만 있고 메모리·인터커넥트 설명이 빈약하면 실전 효용은 제한적일 수 있습니다.
셋째, 공급망 리스크를 줄이는지. 설계 파트너 다변화, 패키징·파운드리 분산, 특정 벤더 의존도 완화는 모두 전략적 신호입니다.
넷째, 기존 소프트웨어 스택에 얹히는지. 좋은 칩도 컴파일러, 런타임, 모델 서빙 체계와 맞지 않으면 채택 비용이 급격히 올라갑니다.
구글-마벨 협력설이 전략적으로 흥미로운 이유는 이 네 항목에 꽤 많이 걸쳐 있기 때문입니다. 추론 중심이고, 메모리 문제를 정조준하며, 브로드컴 일변도에서 벗어난 다변화 신호이고, TPU라는 기존 스택 위에 올리려는 시도이기 때문입니다.124
지금 이 뉴스를 가장 신경 써야 할 사람은 투자자만이 아닙니다. AI 인프라를 고르는 CTO, 자체 모델 서비스 원가를 계산해야 하는 플랫폼 팀, GPU 의존도를 줄일 수 있을지 보는 클라우드 구매자도 봐야 합니다. 앞으로의 질문은 "누가 가장 센 칩을 만드나"가 아니라 "누가 메모리 이동 비용과 추론 단가를 가장 잘 눌러서 서비스 규모를 버티나"에 더 가까워지고 있습니다.
참고
1Google plans nearly two million new AI chips as it turns to Marvell for custom designs
3Google is in talks with Marvell to build custom AI inference chips as it diversifies beyond Broadcom
4Google's Reported AI Chip Talks Put Marvell Technology in the Middle of the Custom AI Chip Race
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.