일론 머스크가 말했던 대로 x.ai 에서 Grok-1 을 공개했습니다. 3140억개의 파라미터를 가진 Mixture-of-Experts 모델입니다.

![](https://server.tilnote.io/images/pages/2577b87e-f442-4289-bbad-ca369e2a5ecd.png)

모델은 2023년 10월에 완성된 Grok-1의 프리트레이닝 단계의 모델이며 미세 조정은 되지 않은 상태입니다.

Apache 2.0 라이센스에 따라 가중치와 구조를 공개했습니다.

모델 사용은 [GitHub - xai-org/grok-1: Grok open release](https://github.com/xai-org/grok-1) 를 참고하면 됩니다.

모델은 xAI로 부터 처음부터 끝까지 만들어 졌으며 JAX와 Rust를 사용하여 2023월 10일 이루어졌습니다.

## 생각

일론 머스크의 말대로 공개를 했군요. 오픈 기조의 인공지능 개발을 정말로 할 생각인지 궁금합니다. 공개된 모델은 pre trained model 이라 바로 사용하기는 어려울 것 같네요. 하지만 파인 튜닝 등을 할 수 있는 곳이나 연구자들은 주목을 할 것 같습니다. GPT-3.5 가 1750억개 파라미터라는 것을 보면 두 배가 조금 안되는 파라미터 수네요. (1.79배)

일론 머스크가 말했던 대로 x.ai 에서 Grok-1 을 공개했습니다. 3140억개의 파라미터를 가진 Mixture-of-Experts 모델입니다.<img alt="Grok-1 오픈 소스로 공개 image 1" src="https://server.tilnote.io/images/pages/2577b87e-f442-4289-bbad-ca369e2a5ecd.png">모델은 2023년 10월에 완성된 Grok-1의 프리트레이닝 단계의 모델이며 미세 조정은 되지 않은 상태입니다.Apache 2.0 라이센스에 따라 가중치와 구조를 공개했습니다.모델 사용은 <a href="https://github.com/xai-org/grok-1">GitHub - xai-org/grok-1: Grok open release</a> 를 참고하면 됩니다.모델은 xAI로 부터 처음부터 끝까지 만들어 졌으며 JAX와 Rust를 사용하여 2023월 10일 이루어졌습니다.<h2 id="생각">생각</h2>일론 머스크의 말대로 공개를 했군요. 오픈 기조의 인공지능 개발을 정말로 할 생각인지 궁금합니다. 공개된 모델은 pre trained model 이라 바로 사용하기는 어려울 것 같네요. 하지만 파인 튜닝 등을 할 수 있는 곳이나 연구자들은 주목을 할 것 같습니다. GPT-3.5 가 1750억개 파라미터라는 것을 보면 두 배가 조금 안되는 파라미터 수네요. (1.79배)