Llama 3.3

개요

라마 3.3(Llama 3.3)은 Meta에서 개발한 최신 다국어 대형 언어 모델(LLM)로, 성능과 효율성을 결합하여 다양한 상업적 및 연구적 용도로 활용될 수 있습니다. 70억 개의 파라미터로 구성된 이 모델은 성능과 비용 측면에서 이전 모델인 Llama 3.1 405B 모델과 유사한 결과를 제공하며, 다양한 벤치마크에서 우수한 성능을 발휘합니다.

모델 개요 및 성능

라마 3.3은 사전 학습된 모델로, 후속 지시 기반 튜닝을 통해 다국어 대화 및 지시 따르기와 같은 다양한 자연어 생성 작업에 최적화되어 있습니다. 총 15조 개의 토큰으로 학습되었으며, 25억 개 이상의 합성 예시로 세밀하게 조정되었습니다. Meta AI 팀은 이 모델이 39.3백만 GPU 시간을 활용하여 탄소 배출을 줄이는 방향으로 개발했다고 말합니다.

파라미터와 성능 비교

Llama 3.3 모델은 70억 개의 파라미터를 가지고 있으며, 이는 이전의 405B 모델과 비교하면 기하급수적으로 적은 파라미터를 사용하지만 비슷한 성능을 보여줍니다.

• Llama 3.1 405B는 243GB에서 1944GB의 GPU 메모리를 필요로 했지만, Llama 3.3 70B는 42GB에서 168GB의 메모리만으로도 유사한 성능을 구현할 수 있습니다.

언어 지원 및 활용 가능성

라마 3.3은 영어를 포함하여, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어 및 태국어를 지원합니다. 추가적으로, 성능과 안전성을 충족하는 경우 다른 언어들도 출력할 수 있지만 권장되지 않습니다. 이러한 다국어 지원 기능은 여러 연구 및 상업적 응용 프로그램에서 자주 사용될 수 있습니다.

한국어가 공식 지원되지 않아서 조금 아쉽네요.

개발 가능성 및 사용법

라마 3.3의 사용을 위해 특정 도구들과의 통합이 가능하며, 개발자들은 이를 활용해 다양한 응용 프로그램을 구축할 수 있습니다.

• 예를 들어, GPT-4와 같은 모델이 1백만 개의 입력 토큰 처리 비용이 1달러인데 비해, Llama 3.3은 0.1달러로 더 비용 효율적입니다.

• 모델의 아키텍처에는 그룹 쿼리 주의(Grouped Query Attention)가 있어 학습 및 추론 성능을 향상시킵니다.

환경적 고려 사항

러머 3.3 개발 과정에서 Meta는 재생 가능한 에너지를 활용하여 훈련 과정에서의 탄소 배출을 상쇄시킴으로써 친환경적인 접근 방식을 채택했습니다. 이는 넷제로 배출을 달성하는데 기여했습니다.

라이센스 및 상업적 사용

라마 3.3은 오픈 소스 커뮤니티 라이센스에 따라 제공되며, 상업적, 연구 목적으로 무료로 사용할 수 있습니다. 단, 월간 7억 명 이상의 활성 사용자 기반을 가진 조직은 상업적 라이센스를 직접 구매해야 합니다. 모델을 사용한 제품이나 서비스는 적절한 저작권 표시를 포함해야 합니다. (Built with Llama)

결론

Llama 3.3은 다양한 다국어 활용과 연구, 상업적 용도에서 탁월한 성능을 보여주며, 이전 모델과 유사한 성능을 더 낮은 비용으로 제공하는 효과적인 모델입니다. 환경적인 측면에서도 지속가능성을 고려하여 탄소 중립을 달성했으며, 오픈 소스 커뮤니티가 쉽게 접근할 수 있도록 많은 지원을 제공하고 있습니다.

Llama 3.3 | Model Cards and Prompt formats