라마 3가 출시되었습니다! Llama 8B, 70B
Llama 3
현재 출시된 모델은 메타 라마 3 8B 와 라마3 70B 입니다. 성능은 다음과 같습니다.
여러 SOTA 모델을 따라 잡는게 보이네요. 컨텍스트 윈도우는 8k(8192)입니다.
라마3 8B와 70B는 라마 3의 시작이고 400B 모델이 지금도 훈련 중이라고 합니다. 수 달내에 멀티 모달과 여러 언어로 대화할 수 있는 능력 (the ability to converse in multiple languages), 더 긴 컨텍스트 윈도우와 향상된 성능들을 배포할 것이라고 합니다. 한국어를 포함한 다국어 지원도 이때 가능해 질 것 같습니다.
그리고 이것이 현재 checkpoint에서 공개된 400B의 성능입니다.
참고로 Claude 3 Opus 의 MMLU 점수가 86.8 이고 GPT-4-turbo가 86.5 입니다. 400B는 86.1을 기록하고 있네요. 여러 영역에서 사유 모델(proprietary)들을 따라잡는 모습입니다.
이미지 출처 : 트위터 이미지
이미지 출처 : Jim fan X
사용법
meta.ai에서 테스트 해볼 수 있다고 합니다. 다만 아직 meta.ai 는 한국에서 사용 가능하지 않습니다.
모델은 홈페이지에서 다운로드 받을 수 있습니다.
사용법은 Getting started with Llama | Documentation 에서 확인할 수 있습니다. AWS, 구글 클라우드, 애저 등 다양한 플랫폼에서 활용할 수 있습니다.
이미지 : meta.ai 에서 활용하는 모습.
사용은 허깅챗에서 무료로 사용하실 수 있습니다.
또한 퍼플렉시티 랩스에서도 사용할 수 있습니다.
