Grok-1 오픈 소스로 공개
일론 머스크가 말했던 대로 x.ai 에서 Grok-1 을 공개했습니다. 3140억개의 파라미터를 가진 Mixture-of-Experts 모델입니다.
모델은 2023년 10월에 완성된 Grok-1의 프리트레이닝 단계의 모델이며 미세 조정은 되지 않은 상태입니다.
Apache 2.0 라이센스에 따라 가중치와 구조를 공개했습니다.
모델 사용은 GitHub - xai-org/grok-1: Grok open release 를 참고하면 됩니다.
모델은 xAI로 부터 처음부터 끝까지 만들어 졌으며 JAX와 Rust를 사용하여 2023월 10일 이루어졌습니다.
생각
일론 머스크의 말대로 공개를 했군요. 오픈 기조의 인공지능 개발을 정말로 할 생각인지 궁금합니다. 공개된 모델은 pre trained model 이라 바로 사용하기는 어려울 것 같네요. 하지만 파인 튜닝 등을 할 수 있는 곳이나 연구자들은 주목을 할 것 같습니다. GPT-3.5 가 1750억개 파라미터라는 것을 보면 두 배가 조금 안되는 파라미터 수네요. (1.79배)
공유하기
![카카오로 공유하기](/images/kakao-share.png)
![페이스북 공유하기](/images/facebook-share.png)
![url 복사하기](/images/link-share.png)
조회수 : 533