구글 TPU, 엔비디아, 브로드컴이 만드는 새 판, 개발자는 무엇을 기대해야 할까?

구글 AI 칩의 상업화, 진짜 의미

AI 인프라 시장이 한 회사의 독무대에서는 벗어나고 있습니다. 구글이 그동안 내부용으로만 쓰던 TPU를 외부에 본격적으로 풀기 시작했고, 그 과정에 브로드컴이 깊게 들어왔습니다. 메타가 이 칩을 도입할 가능성이 거론되면서, 엔비디아 중심의 구도가 균열을 보이는 순간입니다.

주목할 지점은 구글이 원래 칩을 파는 회사가 아니라는 점입니다. TPU는 지금까지 구글 데이터센터 안에서만 돌던 완전한 사내 전용 자산이었습니다. 특정 워크로드에 맞춰 최적화한 전용 칩을 내부에서 쓰는 일과, 외부 고객에게 동일한 칩을 서비스 형태로 제공하는 일은 난이도가 전혀 다릅니다. 제품화, 공급망, 지원, 장기 로드맵까지 모두 열어 보여야 합니다.

여기서 브로드컴의 역할이 커집니다. 그동안 구글 TPU 설계 파트너로 활동하던 브로드컴이 상업화의 전면에 나설 가능성이 높습니다. 데이터센터 사업자 입장에서는 검증된 반도체 기업이 뒤를 받쳐주는 칩이 훨씬 안심됩니다. 사실상 구글의 설계 역량과 브로드컴의 상용화 역량이 결합한 새로운 AI 인프라 옵션이 생긴 셈입니다.

엔비디아 독주 속 '대안' 찾기와 LLM의 다음 단계

엔비디아는 여전히 AI 가속기 시장의 절대 강자입니다. 그럼에도 메타처럼 거대 플랫폼 기업들은 다른 선택지를 적극적으로 찾는 분위기입니다. 특정 벤더에 과도하게 묶이면 가격, 공급, 기술 로드맵에서 모두 협상력이 떨어지기 때문입니다. 구글 TPU가 메타 같은 외부 고객에게 진짜로 공급된다면, 시장은 최소한 엔비디아와 구글·브로드컴의 양강 구도에 가까운 그림을 가질 수 있습니다.

인터뷰에서 언급된 앤트로픽 사례는 또 다른 흐름을 보여 줍니다. 마이크로소프트, 아마존, 구글이 모두 지분과 클라우드를 엮어 복잡한 구조를 만들고 있습니다. 자본을 투자하고, 그 자본으로 다시 자사 클라우드와 칩을 쓰게 만드는 이른바 순환 거래 구조입니다. 겉으로는 매출이 늘어도, 그 매출의 질을 어떻게 봐야 할지는 별개의 문제입니다. 스스로 돈을 빌려주고 다시 자기 물건을 사게 하는 구조에 가깝기 때문입니다.

이 구도는 LLM 경쟁과도 연결됩니다. 최근에는 구글의 제미나이, 앤트로픽의 신규 모델, 오픈AI의 차기 버전 등 대형 모델이 빠르게 엎치락뒤치락하고 있습니다. 한때는 "더 큰 모델이 곧 더 좋은 모델"이라는 공식이 통했지만, 이제는 그 공식이 약해지고 있습니다. 인터뷰에서 지적된 것처럼 대형 LLM을 무작정 키우는 방식은 점점 수익 대비 효과가 떨어지는 단계에 접어들고 있습니다.

시선은 점점 다른 방식으로 이동합니다. 특정 도메인에 최적화된 전용 모델, 텍스트와 이미지, 음성을 섞어 처리하는 멀티모달, 여러 전문가 모델을 조합하는 Mixture of Experts 같은 접근이 다음 단계로 거론됩니다. 결국 LLM 자체는 하나의 과도기적 기술일 수 있습니다. 더 적은 파라미터로도 더 높은 성능을 내거나, 전혀 다른 방식의 지식 표현을 사용하는 모델이 향후 주류가 될 가능성이 큽니다.

현실적으로 따져봐야 할 부분들

AI 인프라를 도입하거나 설계하는 입장에서는 이번 인터뷰에서 몇 가지 냉정한 포인트를 잡을 수 있습니다. 첫째, 구글 TPU와 브로드컴의 조합은 분명 매력적인 옵션이지만, 아직 엔비디아 수준의 상용 생태계는 없습니다. 장비 조달, 소프트웨어 스택, 튜닝 노하우, 커뮤니티까지 감안하면 일정 기간은 "성숙한 생태계 vs 잠재력 있는 대안"의 선택이 불가피합니다.

둘째, 거대 빅테크 중심의 순환 투자 구조는 클라우드와 칩 가격, 계약 조건에 장기적인 왜곡을 만들 수 있습니다. 단기적으로는 파격적인 크레딧과 혜택을 받을 수 있지만, 의존도가 높아질수록 벗어나기 어렵습니다. 독립적인 벤더와 오픈 소스 생태계의 역할을 일부러라도 유지해야 하는 이유입니다.

셋째, LLM 전략에서도 "이번에 누가 벤치마크에서 앞섰냐"보다 중요한 질문이 있습니다. 우리 조직은 어느 정도 크기의 모델이 실제로 필요하고, 어느 정도까지 사내 데이터와 업무 맥락을 녹여낼 수 있는지가 핵심입니다. 단일 초거대 모델에 모든 것을 거는 전략은 점점 리스크가 커집니다. 멀티 모델 조합, 도메인 특화 모델, 프라이버시와 레이턴시를 고려한 온프레미스 옵션까지 함께 바라봐야 합니다.

마지막으로, AI 인프라와 모델 경쟁은 결국 "누가 모든 것을 이기느냐"의 게임이 아닙니다. 특정 워크로드, 특정 비즈니스 구조에 최적인 조합이 각자 다릅니다. 구글·엔비디아·브로드컴·클라우드 3사·각종 LLM 스타트업이 만드는 이 복잡한 판에서, 기술 선택의 기준은 점점 더 사업 모델과 운영 전략에 붙습니다. 지금 필요한 것은 특정 업체에 대한 팬심이 아니라, 장기적인 의존도와 전환 비용까지 포함한 냉정한 설계입니다.

출처 및 참고 :