GPT-J와 GPT-NeoX는 EleutherAI (/iˈluθər eɪ. aɪ/), 일루더에이아이라는 곳에서 만든 gpt opensource 이다. EleutherAI는 자발적인 연구자, 엔지니어, 개발자들이 만든 오픈소스 AI 단체이다. large language model 을 오픈소스로 만드는 것으로 알려져 있다. (발음이 너무 어렵다 ㅠㅠ)

## GPT-J

gpt j는 60억개의 파라미터를 가진 무료 텍스트 생성 모델이다. 800GB의 영어 텍스트를 가지고 있는 Pile 이라는 데이터셋을 통해 학습되었다. GPT-3의 작은 모델인 GPT-3 6.7B-param 와 성능이 비슷하다.

## GPT-NeoX

gpt neox는 GPT-Neo라는 모델이 발전한 버전이고 200억개의 파라미터를 가지고 있다.

출처 : [9 Best Open-Source Alternatives to GPT-3 You Should Try](https://www.altamira.ai/blog/open-source-gpt-alternative-solutions/)

참고로 풀 GTP 3의 파라미터는 1750억개이고 이 두 오픈소스는 GPT3의 좀 더 작은 파라미터 모델과 성능이 비슷하다.

<p>GPT-J와 GPT-NeoX는 EleutherAI (/iˈluθər eɪ. aɪ/), 일루더에이아이라는 곳에서 만든 gpt opensource 이다. EleutherAI는 자발적인 연구자, 엔지니어, 개발자들이 만든 오픈소스 AI 단체이다. large language model 을 오픈소스로 만드는 것으로 알려져 있다. (발음이 너무 어렵다 ㅠㅠ)</p><h2 id="GPT-J">GPT-J</h2><p>gpt j는 60억개의 파라미터를 가진 무료 텍스트 생성 모델이다. 800GB의 영어 텍스트를 가지고 있는 Pile 이라는 데이터셋을 통해 학습되었다. GPT-3의 작은 모델인 GPT-3 6.7B-param 와 성능이 비슷하다.</p><h2 id="GPT-NeoX">GPT-NeoX</h2><p>gpt neox는 GPT-Neo라는 모델이 발전한 버전이고 200억개의 파라미터를 가지고 있다.</p><p>출처 : <a href="https://www.altamira.ai/blog/open-source-gpt-alternative-solutions/">9 Best Open-Source Alternatives to GPT-3 You Should Try</a></p><p>참고로 풀 GTP 3의 파라미터는 1750억개이고 이 두 오픈소스는 GPT3의 좀 더 작은 파라미터 모델과 성능이 비슷하다.</p>

GPT 오픈소스 버전 - GPT-J와 GPT-NeoX

GPT-J

GPT-NeoX