스테이블 디퓨전 StableCode 공개 - 오픈소스 코드 생성 인공지능

StableCode

Stable Diffusion을 만든 스타트업 Stability AI 이 StableCode라는 LLM 코드 모델을 Apache 2.0 라이선스 공개 소스로 출시했습니다.

StableCode는 3B 기본 모델을 가지고 있습니다. (굉장히 작네요.) Eleuther's의 GPT-NeoX를 기반으로 했고 BigCode 데이터셋을 사용했다고 합니다. 추가적인 프로그래밍 언어를 포함하는데 Python, Go, Java, Javascript, C, Markdown, C++ 등이 포함된다고 합니다.

기본 모델 : stabilityai/stablecode-completion-alpha-3b-4k · Hugging Face

instruction 모델은 120,000 쌍의 지시문 세트 (지시+해결책) 로 훈련되었습니다.

instruction model : stabilityai/stablecode-instruct-alpha-3b · Hugging Face

4k 컨텍스트 창 모델과 16k 컨텍스트 창 모델이 있다고 합니다. 16k 모델은 중간 크기의 파이썬 파일 5개를 한 번에 처리할 수 있다고 하네요.

이로써 BigCode의 StarCoder, github copilot 외에도 새로운 코드 모델이 생겼네요.