구글이 8세대 TPU를 공개했다. 이번엔 칩 하나가 아니라 훈련용 TPU 8t와 추론용 TPU 8i, 두 종류로 나눴다.1 겉으로 보면 또 하나의 "더 빠른 AI 칩" 발표처럼 보이지만, 더 중요한 질문은 따로 있다. 왜 지금 굳이 훈련과 추론을 분리했느냐는 점이다.
답은 AI 제품의 형태가 바뀌고 있기 때문이다. 한 번 크게 학습시키는 일보다, 긴 문맥을 유지하고 여러 도구를 호출하며 낮은 지연으로 계속 응답해야 하는 "에이전트형" 서비스가 인프라 설계를 바꾸고 있다. 구글의 이번 발표는 성능 경쟁이라기보다, AI 인프라가 이제 학습 규모와 에이전트 서빙이라는 두 레인으로 갈라진다는 신호에 가깝다.12
이번 발표의 핵심은 FLOPS가 아니라 워크로드 분화다
확인된 사실부터 보자. TPU 8t는 대규모 학습에 맞춰 확장성과 칩 간 대역폭을 키웠고, TPU 8i는 지연 민감한 추론을 위해 메모리 대역폭과 온칩 SRAM을 강화했다. 구글은 8t가 이전 세대 대비 팟 기준 약 3배 성능을 내고, 8i는 성능 대비 비용이 80% 개선됐다고 설명했다.13
이 수치 자체보다 중요한 건 설계 철학이다. 예전에는 "학습도 되고 추론도 되는 범용 가속기"가 자연스러웠다. 하지만 에이전트 워크로드는 다르다. 모델이 답 하나를 내는 데서 끝나지 않고, 메모리 캐시를 오래 붙잡고 여러 단계로 추론하며 다른 에이전트와 상호작용한다. 이때 병목은 단순 연산량보다 메모리, 인터커넥트, 지연시간에서 자주 생긴다.
그래서 8i의 포인트는 최고 성능 숫자보다 "기다리는 시간"을 줄이는 데 있다. 구글은 288GB HBM과 384MB 온칩 SRAM, 집단 연산 가속 엔진, 새 토폴로지를 강조했다.1 이는 단일 모델 벤치마크보다, 다수의 요청과 에이전트 흐름을 동시에 처리하는 운영 환경을 겨냥한 설계로 읽는 편이 맞다.
실무적으로는 이것이 꽤 큰 변화다. 앞으로 AI 인프라 평가는 "최고점 성능"보다 "어떤 요청 패턴에서 비용과 지연이 안정적으로 유지되는가"로 이동할 가능성이 크다.
누가 당장 신경 써야 하고, 누가는 아직 아니다
모델을 직접 크게 학습시키는 연구조직이나 파운데이션 모델 기업이라면 TPU 8t는 분명 중요한 변수다. 9,600칩 슈퍼팟, 2PB 공유 HBM, 대규모 클러스터 확장성 같은 요소는 일부 조직에겐 학습 기간 단축 자체로 경쟁력이 되기 때문이다.1
반면 대부분의 스타트업은 8t보다 8i 쪽을 봐야 한다. 이유는 간단하다. 오늘의 비용 압박은 "모델을 한 번 학습시키는 돈"보다 "서비스를 계속 돌리는 돈"에서 더 자주 터지기 때문이다. 고객 응답속도, 동시성, 세션 메모리 유지 비용이 핵심이라면 추론 특화 칩의 가치가 더 직접적이다.
다만 여기엔 반론도 있다. 좋은 칩이 바로 좋은 선택은 아니다. TPU는 오래전부터 TensorFlow뿐 아니라 JAX와 PyTorch도 지원해 왔지만, 현실의 도입 장벽은 프레임워크 지원 여부만으로 결정되지 않는다.4 운영 툴, 디버깅 경험, 모델 이식성, 팀의 익숙함, 생태계 인력 풀은 여전히 GPU 진영이 강하다. 기업 입장에선 "칩 성능"보다 "우리 팀이 이걸 무리 없이 운영할 수 있나"가 더 현실적인 질문이다.
즉, 스타트업은 비용 절감 가능성 때문에 관심을 가져야 하지만, 엔터프라이즈는 잠금효과와 운영 복잡성까지 같이 계산해야 한다.
TPU 대 GPU보다 더 중요한 비교는 전체 시스템 대 전체 시스템이다
이번 발표를 "구글 TPU vs 엔비디아 GPU" 구도로만 보면 놓치는 게 많다. 실제 선택은 칩 하나가 아니라 시스템 전체를 비교하는 일이다.
예를 들어 TPU 8t의 강점은 칩 단위보다 슈퍼팟, 네트워크, 스토리지 접근, 장애 우회, goodput 97% 목표 같은 운영 설계에 있다.1 이는 대규모 학습에서 실제 유효 계산 시간을 얼마나 확보하느냐의 문제다. 같은 이론 성능이어도 장애 복구와 스케줄링이 불안하면 체감 성능은 크게 떨어진다.
8i도 마찬가지다. 추론용 칩은 단순 처리량보다 지연 편차, 메모리 캐시 전략, 에이전트 간 통신, CPU와의 결합 방식이 더 중요하다. 구글은 Axion 기반 CPU 결합과 NUMA 설계를 함께 언급했다.1 즉 칩 비교표보다, "내 워크로드가 이 아키텍처 위에서 얼마나 깔끔하게 돈다"가 핵심이다.
또 한 가지. 구글 자신도 엔비디아 인프라를 함께 제공하고 있다.3 이것은 역설적으로 TPU가 GPU를 완전히 대체한다는 메시지가 아니라, 워크로드별로 최적 경로가 달라진다는 뜻이다. 따라서 구매자 입장에서는 진영 선택보다 멀티 옵션 전략이 더 현실적이다.
이 전략이 진짜 시장 변화를 만들지 보려면 다섯 가지를 보면 된다
앞으로는 발표 스펙보다 다음 신호를 보는 편이 낫다.
첫째, 구글 내부가 아닌 외부 고객 채택이 늘어나는가. Anthropic, Citadel Securities 같은 사례가 반복적으로 나오는지 봐야 한다.3
둘째, TPU에서의 모델 이식과 운영 경험이 얼마나 쉬워지는가. PyTorch 호환만이 아니라, 실제 추론 스택과 에이전트 프레임워크가 잘 붙는지가 중요하다.
셋째, 가격이 얼마나 투명해지는가. "성능 대비 비용" 주장은 많지만, 고객이 비교 가능한 형태의 과금 모델을 봐야 판단할 수 있다.
넷째, 추론 중심 제품에서 의미 있는 사례가 나오는가. 에이전트, 긴 문맥 응답, 실시간 워크플로 자동화처럼 8i의 설계가 빛나는 분야에서 결과가 나와야 한다.
다섯째, 클라우드 종속 리스크를 줄일 장치가 생기는가. TPU는 본질적으로 구글 클라우드 전략과 함께 움직인다. 그래서 기술적 우위가 있어도, 멀티클라우드 운영과 이식성이 약하면 도입은 제한적일 수 있다.
결국 이번 8세대 TPU는 "구글 칩이 또 빨라졌다"는 뉴스로 소비하기엔 아깝다. 더 정확한 해석은 이렇다. AI 인프라의 중심축이 학습 경쟁에서 서비스 운영 경쟁으로 옮겨가고 있고, 그 과정에서 칩도 하나의 정답이 아니라 역할별 최적화로 쪼개지고 있다. 지금 당장 신경 써야 할 사람은 초거대 학습팀만이 아니다. 에이전트 제품을 운영하는 스타트업, 비용 구조를 다시 짜야 하는 플랫폼 팀, 특정 클라우드에 얼마나 깊게 들어갈지 고민하는 엔터프라이즈도 포함된다. 이제 다시 봐야 할 것은 칩 스펙표가 아니라, 내 워크로드가 어느 레인에 올라타 있는가다.
참고
1Our eighth generation TPUs: two chips for the agentic era
2Google launches Gemini Agent Platform, eighth-generation TPUs
3Google unveils chips for AI training and inference in latest shot at Nvidia
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.