Meta Code Llama 70B 출시 - 코드 생성 모델
메타에서 새로운 코드 생성 모델인 'Code Llama 70B'를 출시했습니다.
코드 라마는 다양한 코드를 생성할 수 있고 다음과 같은 특징을 가지고 있습니다.
5000억 토큰의 코드와 관련 데이터로 훈련됨.
10만 토큰 컨텍스트 윈도우.
1750억 파라미터의 LLM인 Llama 2를 기반으로 함.
다음과 같이 3가지 모델이 있네요.
CodeLlama-70B
CodeLlama-70B-Python (파이썬에 특화된 버전)
CodeLlama-70B-Instruct (자연어 지시로 추가 파인튜닝)
성능평가에서는 HumanEval 에서 67.8을 기록했다고 합니다. GPT-4는 68.2 이고 Gemini Pro는 69.4를 기록했습니다. HumanEval은 LLM의 프로그래밍 언어 이해력과 코드 생성 능력을 평가하기 위해 OpenAI에서 만든 테스트 세트입니다.
데모는 허깅 페이스에서 사용해 볼 수 있습니다. codellama (Code Llama)
저는 Code Llama 13B Chat을 사용해 봤습니다. instruct 버전이라서 자연어를 이해할 수 있습니다.
자바스크립트로 랜덤 문자열을 만드는 코드를 짜달라고 했는데 잘 대답해 주네요.
모델은 Llama 2 - Meta AI 에서 다운로드받을 수 있다고 합니다. 연구 및 상업적 사용을 위해 무료로 사용이 가능합니다.
llama 코드는 GitHub - facebookresearch/llama: Inference code for LLaMA models 에서 확인할 수 있습니다.
공유하기
조회수 : 712