Meta Code Llama 70B 출시 - 코드 생성 모델

메타에서 새로운 코드 생성 모델인 'Code Llama 70B'를 출시했습니다.

코드 라마는 다양한 코드를 생성할 수 있고 다음과 같은 특징을 가지고 있습니다.

• 5000억 토큰의 코드와 관련 데이터로 훈련됨.

• 10만 토큰 컨텍스트 윈도우.

• 1750억 파라미터의 LLM인 Llama 2를 기반으로 함.

다음과 같이 3가지 모델이 있네요.

• CodeLlama-70B

• CodeLlama-70B-Python (파이썬에 특화된 버전)

• CodeLlama-70B-Instruct (자연어 지시로 추가 파인튜닝)

성능평가에서는 HumanEval 에서 67.8을 기록했다고 합니다. GPT-4는 68.2 이고 Gemini Pro는 69.4를 기록했습니다. HumanEval은 LLM의 프로그래밍 언어 이해력과 코드 생성 능력을 평가하기 위해 OpenAI에서 만든 테스트 세트입니다.

데모는 허깅 페이스에서 사용해 볼 수 있습니다. codellama (Code Llama)

저는 Code Llama 13B Chat을 사용해 봤습니다. instruct 버전이라서 자연어를 이해할 수 있습니다.

자바스크립트로 랜덤 문자열을 만드는 코드를 짜달라고 했는데 잘 대답해 주네요.

모델은 Llama 2 - Meta AI 에서 다운로드받을 수 있다고 합니다. 연구 및 상업적 사용을 위해 무료로 사용이 가능합니다.

llama 코드는 GitHub - facebookresearch/llama: Inference code for LLaMA models 에서 확인할 수 있습니다.