Groq 무료 사용량 및 최근 투자 소식
무료 사용량
| ID | Requests per Minute | Requests per Day | Tokens per Minute | Tokens per Day |
|---|---|---|---|---|
| gemma-7b-it | 30 | 14,400 | 15,000 | (No limit) |
| gemma2-9b-it | 30 | 14,400 | 15,000 | (No limit) |
| llama-3.1-70b-versatile | 100 | 14,400 | 131,072 | 1,000,000 |
| llama-3.1-8b-instant | 30 | 14,400 | 131,072 | 1,000,000 |
| llama-guard-3-8b | 30 | 14,400 | 15,000 | (No limit) |
| llama3-70b-8192 | 30 | 14,400 | 6,000 | (No limit) |
| llama3-8b-8192 | 30 | 14,400 | 30,000 | (No limit) |
| llama3-groq-70b-8192-tool-use-preview | 30 | 14,400 | 15,000 | (No limit) |
| llama3-groq-8b-8192-tool-use-preview | 30 | 14,400 | 15,000 | (No limit) |
| mixtral-8x7b-32768 | 30 | 14,400 | 5,000 | (No limit) |
| ID | Requests per Minute | Requests per Day | Audio Seconds per Hour | Audio Seconds per Day |
|---|---|---|---|---|
| whisper-large-v3 | 20 | 2,000 | 7,200 | 28,800 |
오픈소스 LLM 등을 사용할 수 있으며 분당 30회 정도의 자비로운 무료 사용량을 제공한다. 개인 프로젝트에서 쓰기 매우 좋다. llama 3.1 70B 정도면 굉장히 유용하게 활용할 수 있다.
위스퍼도 시간 당 7200초로 시간 당 120분 정도의 텍스트 전사 쓰기를 무료로 제공한다.
Groq 투자 소식
Groq 는 기존 프로세서보다 더 빠르게 생성 AI 모델을 실행할 칩인 LPU를 개발하는 스타트업이다. LPU(언어 처리 장치) 추론 엔진은 기존 생성 AI 모델을 10배 빠르게, 10분의 1 에너지로 실행할 수 있다고 Groq는 주장한다.
최근 Blackrock 이 주도한 자금 조달 라운드에서 6억 4천만 달러를 모금했다. 이 중에는 Samsung Catalyst Fund도 참여했다. 이로써 총 자금 조달액은 10억 달러를 넘었으며 회사 가치는 28억 달러에 달한다.
Groq의 CEO Jonathan Ross는 Google의 TPU(텐서 처리 장치)를 공동 개발한 이력 있다. Groq의 총괄 운영 책임자로 Intel 출신 Stuart Pann이 합류하고, Meta의 AI 수석 과학자 Yann LeCun이 기술 자문으로 활동할 예정이다.
차세대 칩을 개발 중이며 삼성의 파운드리 사업부와 협력하여 4nm LPUs 를 제조할 예정이다. 2025년 1분기 말까지 10만 8천 개 이상의 LPU 배포 계획을 가지고 있다.
공유하기
조회수 : 288
