검색
검색
공개 노트 검색
회원가입로그인

Grok-1 오픈 소스로 공개

일론 머스크가 말했던 대로 x.ai 에서 Grok-1 을 공개했습니다. 3140억개의 파라미터를 가진 Mixture-of-Experts 모델입니다.

Grok-1 오픈 소스로 공개 image 1

모델은 2023년 10월에 완성된 Grok-1의 프리트레이닝 단계의 모델이며 미세 조정은 되지 않은 상태입니다.

Apache 2.0 라이센스에 따라 가중치와 구조를 공개했습니다.

모델 사용은 GitHub - xai-org/grok-1: Grok open release 를 참고하면 됩니다.

모델은 xAI로 부터 처음부터 끝까지 만들어 졌으며 JAX와 Rust를 사용하여 2023월 10일 이루어졌습니다.

생각

일론 머스크의 말대로 공개를 했군요. 오픈 기조의 인공지능 개발을 정말로 할 생각인지 궁금합니다. 공개된 모델은 pre trained model 이라 바로 사용하기는 어려울 것 같네요. 하지만 파인 튜닝 등을 할 수 있는 곳이나 연구자들은 주목을 할 것 같습니다. GPT-3.5 가 1750억개 파라미터라는 것을 보면 두 배가 조금 안되는 파라미터 수네요. (1.79배)

조회수 : 425
heart
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기
T
페이지 기반 대답
AI Chat