Groq AI 칩 - LPU의 등장 : 초당 500 토큰 처리

Groq는 AI 칩 회사입니다. 일론 머스크의 Grok과는 다릅니다.

이 Groq 는 Language Processing Units (LPUs)라는 AI 칩을 만들며, 이를 Nvidia의 Graphics Processing Units (GPUs)보다 빠르다고 주장합니다.

트위터에 올린 데모에 따르면 Mixtral 을 초당 500토큰까지 생성하는 모습입니다.

참고로 Gemini Pro나 GPT-3.5의 경우 초당 30~50 토큰을 생성한다고 합니다.

Groq이 개발한 첫 번째 LPU 시스템 카테고리의 칩인 "GroqChip"은 높은 성능과 효율성을 위해 설계되었으며 "텐서 스트리밍 아키텍처"를 기반으로 합니다.

LPU는 인기 있는 머신 러닝 프레임워크와 호환되며, 훈련된 AI 모델 적용 단계인 추론 단계에서는 초기에만 사용할 수 있습니다.

현재 널리 사용되고 부족한 Nvidia의 A100 및 H100 칩에 대한 대안이 될 수 있지만, 모델 훈련을 위해서는 여전히 Nvidia GPU와 같은 칩이 필요합니다.

Groq은 Jonathan Ross가 2016년에 설립했으며, 그는 구글에서 TPU 칩 작업을 했습니다.

Groq은 하드웨어 판매뿐만 아니라 Mixtral과 같은 오픈 소스 모델을 사용할 수 있는 클라우드 API도 제공합니다.

Groq API : Accelerating Systems with Real-time AI Solutions - Groq

홈페이지에서 속도도 체험해 볼 수 있는데 엄청 빠르네요.

Nvidia의 GPU나 구글의 TPU만큼 확장 가능한지는 잘 모르겠지만 AI 분야에 있어 새로운 돌파구를 가져올 수 도 있을 것 같습니다.

참고 기사 : Groq's AI chip turbocharges LLMs and generates text in near real-time