General Compute가 보여주는 AI 추론 인프라의 변화
AI 인프라의 무게중심이 모델 학습에서 실제 서비스의 추론으로 넓어지고 있다. General Compute는 이를 보여주는 사례다. 5월 1,500만 달러의 시드 투자를 유치한 데 이어 Upper90으로부터 4억 달러를 대출받아 SambaNova 반도체 기반의 AI 추론 클라우드를 구축하고 있다.1
이 거래에서 주목할 부분은 자금 규모만이 아니다. GPU 중심이던 AI 인프라 시장에서 추론 전용 칩도 대규모 자금 조달의 대상이 되기 시작했다는 점이다.
ASIC 기반 추론 클라우드란 무엇인가
General Compute는 ASIC 기반 AI 추론 클라우드를 운영한다. ASIC은 특정 용도에 맞춰 설계하는 주문형 반도체다. 다양한 연산을 처리하는 GPU와 달리, 정해진 작업의 성능과 효율을 높이는 데 초점을 맞춘다.
General Compute가 사용하는 SambaNova의 SN50 칩도 AI 추론용으로 설계됐다. 주요 사용 사례는 코딩·음성 에이전트처럼 지연시간이 사용자 경험에 직접 영향을 주는 서비스다. 회사는 자사 인프라가 응답 속도를 5배 높인다고 설명한다. 다만 이는 회사 측 수치이므로 실제 도입 전에는 모델, 요청 길이, 동시 접속량 등 동일한 조건에서 검증해야 한다.2
Upper90의 참여는 이런 변화에 금융적 의미를 더한다. Upper90은 2021년 데이터센터 스타트업 Crusoe의 GPU 구매 자금을 지원했다. 이번에는 추론용 반도체 기반 인프라에 자금을 제공하면서 AI 인프라 금융의 범위가 GPU 밖으로 확대될 가능성을 보여줬다.1 물론 대규모 대출 자체가 기술적 우위를 입증하는 것은 아니다. 다만 전용 추론 인프라가 투자와 금융의 평가 대상이 됐다는 신호로 볼 수 있다.
실제 도입에서는 전환 비용이 관건이다
전용 칩이 빨라도 기존 애플리케이션을 대폭 수정해야 한다면 도입하기 어렵다. General Compute는 이 장벽을 OpenAI 호환 API로 낮추려 한다.
General Compute API는 OpenAI와 같은 REST 엔드포인트 구조, 요청·응답 형식, 스트리밍 프로토콜을 구현한다. Python과 Node.js용 OpenAI SDK에서도 기존 메시지 형식과 응답 파싱 방식을 유지할 수 있다. 기본 URL과 API 키를 변경하는 방식으로 전환할 수 있으며, 공급자 간 모델 식별자가 다를 때는 모델 이름도 바꿔야 한다.3
API 기본 주소는 다음과 같다.
https://api.generalcompute.com/v1이런 호환성은 하드웨어 성능만큼 중요하다. 애플리케이션 코드를 거의 유지한 채 공급자를 바꿀 수 있다면, 기업은 전용 칩의 성능과 비용을 비교·검증하기 쉬워진다.
General Compute 사례에서 확인할 판단 기준
이번 거래가 곧 ‘GPU의 종말’을 뜻하지는 않는다. 핵심은 학습과 추론이 서로 다른 하드웨어 선택 기준을 가질 수 있다는 점이다. 범용성이 중요한 작업에는 GPU가 적합할 수 있고, 반복적이며 지연시간에 민감한 추론에는 전용 칩이 경쟁력 있는 선택지가 될 수 있다.
도입을 검토할 때는 홍보 수치 하나보다 다음 항목을 같은 조건에서 비교해야 한다.
첫 토큰이 생성되기까지의 지연시간
이후 토큰 생성 속도
요청량과 동시 사용자 수에 따른 비용
모델 출력 품질
기존 OpenAI 기반 코드와의 호환성
모델 이름, 스트리밍, 오류 처리 등 마이그레이션 범위
General Compute의 사례가 주는 실질적인 교훈은 분명하다. AI 추론 인프라를 평가할 때는 칩의 성능뿐 아니라 자금 조달 가능성, 운영 비용, API 호환성까지 함께 봐야 한다. 전용 칩의 경쟁력은 벤치마크 수치가 아니라 실제 서비스로 얼마나 쉽게 옮기고 안정적으로 운영할 수 있는지에서 결정된다.
참고
1Why the first GPU financiers are turning to inference chips in a $400 million deal
2General Compute -- GPUs are built for training, not inference
3How to Migrate From OpenAI to GeneralCompute in 10 Lines of Code
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.