검색
검색
공개 노트 검색
회원가입로그인

GPT 오픈소스 버전 - GPT-J와 GPT-NeoX

GPT-J와 GPT-NeoX는 EleutherAI (/iˈluθər eɪ. aɪ/), 일루더에이아이라는 곳에서 만든 gpt opensource 이다. EleutherAI는 자발적인 연구자, 엔지니어, 개발자들이 만든 오픈소스 AI 단체이다. large language model 을 오픈소스로 만드는 것으로 알려져 있다. (발음이 너무 어렵다 ㅠㅠ)

GPT-J

gpt j는 60억개의 파라미터를 가진 무료 텍스트 생성 모델이다. 800GB의 영어 텍스트를 가지고 있는 Pile 이라는 데이터셋을 통해 학습되었다. GPT-3의 작은 모델인 GPT-3 6.7B-param 와 성능이 비슷하다.

GPT-NeoX

gpt neox는 GPT-Neo라는 모델이 발전한 버전이고 200억개의 파라미터를 가지고 있다.

출처 : 9 Best Open-Source Alternatives to GPT-3 You Should Try

참고로 풀 GTP 3의 파라미터는 1750억개이고 이 두 오픈소스는 GPT3의 좀 더 작은 파라미터 모델과 성능이 비슷하다.

조회수 : 3366
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기