Replit 새로운 AI 모델 공개 -Replit AI + Replit code V1.5 3B

Replit은 온라인 기반의 코드 에디터 및 실행 환경 서비스입니다.

Replit에서 Replit AI를 모든 사용자에게 무료로 공개했습니다. Replit AI는 코드를 자동 완성 시켜주는 인공지능 모델입니다.

이런 식으로 코드를 입력하면 나머지 부분을 자동 완성 시켜줍니다.

이와 함께 replit code v1.5 3B 모델을 허깅페이스에 공개했습니다. replit/replit-code-v1_5-3b · Hugging Face

파이썬의 transformers 모델 (허깅페이스)을 활용해서 다음과 같이 사용할 수 있습니다.

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('replit/replit-code-v1_5-3b', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('replit/replit-code-v1_5-3b', trust_remote_code=True)

x = tokenizer.encode('def fibonacci(n): ', return_tensors='pt')
y = model.generate(x, max_length=100, do_sample=True, top_p=0.95, top_k=4, temperature=0.2, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)

# decoding
generated_code = tokenizer.decode(y[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(generated_code)

모델 설명

• 3B 파라미터 규모의 코드 완성 모델

• Bigcode의 Stack Dedup V2 데이터셋 및 StackExchange에서 추출된 샘플 사용

• 컨텍스트 크기는 4096 토큰

• ALiBi 위치 임베딩 기술로 확장 가능

• GPTNeoX 토크나이저 사용

• MosaicML 플랫폼의 H100-80GB GPU 128대에서 훈련

• 상업적 사용 가능

제한 사항

• 데이터 정화 및 욕설 필터를 적용한 후에도 불쾌하거나 부적절한 내용이 포함될 수 있음.

• 프로덕션 환경에서 사용할 때 주의를 기울일 것을 권장

출처 : replit/replit-code-v1_5-3b · Hugging Face

생각

3B 모델이면 작은 모델이네요. Grouped Query Attention with Flash Attention Triton 나 ALiBi positional embeddings 와 같은 최신 기술을 사용해서 지연 시간을 낮추고 높은 품질을 얻었다고 합니다.