AI 비용 관리는 이제 “얼마나 쓰지 않을 것인가”보다 “어떤 작업에 어떤 모델을 붙일 것인가”의 문제에 가까워지고 있습니다. 코인베이스가 GLM 5.2, Kimi 2.7 같은 중국계 AI 모델을 활용하는 사례가 주목받는 이유도 여기에 있습니다.
핵심은 특정 국가의 모델을 쓴다는 사실 자체보다, 비싼 프런티어 모델을 기본값으로 두지 않는 운영 방식입니다. 코인베이스는 작업 성격, 가격, 캐싱 가능성을 기준으로 요청별 모델을 고르는 구조를 만들고 있습니다.
비싼 모델을 기본값으로 두지 않는다
브라이언 암스트롱 코인베이스 CEO는 모든 AI 프롬프트에 최신 고가 모델이 필요한 것은 아니라고 설명했습니다. 적절한 경우 더 저렴한 모델로 프롬프트를 라우팅하면, 토큰 사용량이 늘어도 비용을 거의 평탄하게 유지할 수 있었다는 것입니다.1
코인베이스는 GLM 5.2와 Kimi 2.7 같은 중국 AI 모델을 사용하고 있습니다. 동시에 개발자들이 원하는 모델을 선택할 수 있게 하고, 복잡한 추론이나 계획이 필요한 작업에는 고성능 모델을 쓸 여지도 남겨둡니다.2
따라서 이 전략은 “싼 모델로 전부 대체한다”가 아닙니다. 반복적이고 실행 중심인 작업은 저렴한 모델에 맡기고, 정말 어려운 문제에는 비싼 모델을 쓰는 방식입니다. AI 비용 절감의 출발점은 모델 성능을 무조건 낮추는 것이 아니라, 작업별로 필요한 성능 수준을 구분하는 데 있습니다.
모델 라우팅이 비용 구조를 바꾼다
이 전략의 핵심 운영 방식은 모델 라우팅입니다. 모델 라우팅은 요청의 성격, 가격, 캐시 가능성 등을 보고 가장 적절한 AI 모델로 자동 배분하는 방식입니다.
코인베이스는 내부 LLM 게이트웨이에서 라우팅과 캐싱을 결합했습니다. 캐싱 적중률은 5%에서 60%로 높아졌다고 전해집니다.2 캐싱은 이전에 계산한 결과나 문맥을 재사용해 불필요한 토큰 소비를 줄이는 방법입니다.
이 변화가 중요한 이유는 AI 비용 절감이 단순한 예산 통제가 아니라 인프라 설계 문제가 됐기 때문입니다. 개발자에게 “덜 쓰라”고 요구하는 대신, 시스템이 요청마다 더 효율적인 경로를 찾도록 만드는 것입니다.
Hugging Face 공동창업자 줄리앙 쇼몽도 모델 라우팅이 최근 크게 성장하고 있다고 언급했습니다.1 기업이 여러 모델을 동시에 쓰기 시작하면, 어떤 모델이 가장 뛰어난가보다 어떤 요청을 어디로 보내는가가 더 중요한 운영 역량이 됩니다.
중국 AI 모델이 만드는 가격 압박
중국 AI 모델의 부상은 성능만의 이야기가 아닙니다. 가격 경쟁력이 핵심입니다. 예를 들어 GLM 5.2는 입력 100만 토큰당 1.40달러, 출력 100만 토큰당 4.40달러로 언급되며, Anthropic Opus 4.8의 5달러·25달러와 비교됩니다.3
암스트롱은 12~18개월 안에 워크로드의 80%가 99% 더 저렴한 모델에서 실행될 수 있다고 예상했습니다.1 이 전망이 맞다면 프리미엄 모델은 모든 업무의 기본값이 아니라, 과학적 돌파구나 에이전트 오케스트레이션처럼 “최대 지능”이 필요한 영역에 집중될 가능성이 큽니다.
다만 기업이 중국계 모델을 검토할 때는 비용만 볼 수 없습니다. 중국계 API를 직접 쓰는 경우 데이터 이동과 법적 관할 문제가 생길 수 있고, 오픈웨이트 모델을 자체 서버에서 운영하면 일부 위험은 줄일 수 있습니다.3 결국 가격, 성능, 보안, 규제 리스크를 함께 비교해야 합니다.
기업이 적용할 수 있는 교훈
코인베이스 사례에서 배울 점은 명확합니다. AI 비용을 줄이려면 모델 선택, 라우팅, 캐싱, 문맥 관리가 함께 움직여야 합니다.
실무적으로는 먼저 작업을 나눠야 합니다. 단순 분류, 요약, 코드 보조, 고객 응대 초안처럼 반복성이 높은 작업은 저렴한 모델 후보가 될 수 있습니다. 반대로 복잡한 의사결정, 장기 계획, 고위험 추론은 더 강한 모델을 쓰는 편이 안전합니다.
앞으로 기업의 경쟁력은 “가장 좋은 모델을 쓰는 능력”보다 “작업별로 충분히 좋은 모델을 싸게 배치하는 능력”에서 갈릴 수 있습니다. 코인베이스의 중국 AI 모델 활용은 그 변화를 보여주는 사례입니다.
2US Tech Firms Quietly Pivot to Chinese AI Models as Coinbase Leads GLM, Kimi Adoption | Macrostream
3Coinbase's CEO pitches Chinese open weight AI models as solution to rising bills
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.