Cerebras, 가장 빠른 AI Inference를 출시

제목: Cerebras, 가장 빠른 AI 추론 솔루션 출시

Cerebras Systems, 새로운 AI 추론 솔루션 'Cerebras Inference' 발표

Llama3.1 8B 모델에서 초당 1,800 토큰, Llama3.1 70B 모델에서 초당 450 토큰 처리 가능

기존 NVIDIA GPU 기반 솔루션보다 20배 빠름

가격은 100만 토큰당 10센트부터 시작, AI 워크로드에서 100배 높은 가격 성능

16비트 정밀도를 유지한 상태에서 최대 성능 제공

Cerebras Inference, 다양한 가격 모델 제공: 프리, 개발자, 엔터프라이즈 티어

전략적 파트너십을 통해 AI 개발 가속화

Wafer Scale Engine 3 (WSE-3) 기반의 Cerebras CS-3 시스템 사용

7,000배 높은 메모리 대역폭 제공, OpenAI Chat API와 호환 가능

Cerebras Systems, AI 슈퍼컴퓨터 개발 전문 기업

주요 고객: 주요 기업, 연구 기관, 정부 등