검색
검색
공개 노트 검색
회원가입로그인

Replit 새로운 AI 모델 공개 -Replit AI + Replit code V1.5 3B

Replit은 온라인 기반의 코드 에디터 및 실행 환경 서비스입니다.

Replit에서 Replit AI를 모든 사용자에게 무료로 공개했습니다. Replit AI는 코드를 자동 완성 시켜주는 인공지능 모델입니다.

Replit 새로운 AI 모델 공개 -Replit AI + Replit code V1.5 3B image 1

이런 식으로 코드를 입력하면 나머지 부분을 자동 완성 시켜줍니다.

이와 함께 replit code v1.5 3B 모델을 허깅페이스에 공개했습니다. replit/replit-code-v1_5-3b · Hugging Face

파이썬의 transformers 모델 (허깅페이스)을 활용해서 다음과 같이 사용할 수 있습니다.

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('replit/replit-code-v1_5-3b', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('replit/replit-code-v1_5-3b', trust_remote_code=True)

x = tokenizer.encode('def fibonacci(n): ', return_tensors='pt')
y = model.generate(x, max_length=100, do_sample=True, top_p=0.95, top_k=4, temperature=0.2, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)

# decoding
generated_code = tokenizer.decode(y[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(generated_code)

모델 설명

  • 3B 파라미터 규모의 코드 완성 모델

  • Bigcode의 Stack Dedup V2 데이터셋 및 StackExchange에서 추출된 샘플 사용

  • 컨텍스트 크기는 4096 토큰

  • ALiBi 위치 임베딩 기술로 확장 가능

  • GPTNeoX 토크나이저 사용

  • MosaicML 플랫폼의 H100-80GB GPU 128대에서 훈련

  • 상업적 사용 가능

제한 사항

  • 데이터 정화 및 욕설 필터를 적용한 후에도 불쾌하거나 부적절한 내용이 포함될 수 있음.

  • 프로덕션 환경에서 사용할 때 주의를 기울일 것을 권장

출처 : replit/replit-code-v1_5-3b · Hugging Face

생각

3B 모델이면 작은 모델이네요. Grouped Query Attention with Flash Attention Triton 나 ALiBi positional embeddings 와 같은 최신 기술을 사용해서 지연 시간을 낮추고 높은 품질을 얻었다고 합니다.

조회수 : 626
heart
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기
T
페이지 기반 대답
AI Chat