최초의 프로덕션 등급 Mamba 기반 LLM입니다!!
- 첫 번째 생산급 맘바(Mamba) 기반 대규모 언어 모델(Jamba)이 AI 21 Labs에 의해 발표되었습니다.
- Jamba 모델은 맘바와 트랜스포머(Transformer) 기반 모델의 혼합입니다.
- 맘바(Mamba)는 SSM(상태 공간 모델) 기반의 새로운 구조로, 토큰 수가 증가하더라도 계산량이 기하급수적으로 증가하지 않아 메모리 효율적입니다.
- Jamba는 트랜스포머의 장점과 맘바의 계산 효율성을 결합한 모델입니다.
- 이 모델은 Mixel(87억 파라미터를 가진 전문가 혼합 모델)과 비교하여 3배 높은 처리량을 제공합니다.
- Jamba는 단일 GPU에서 14만 컨텍스트 창을 처리할 수 있으며, 이는 같은 크기 클래스 내 다른 모델에 비해 뛰어난 성능을 제공합니다.
- Jamba는 완전히 오픈 소스이며, 아파치 2.0 라이선스로 제공되며, 현재 Hugging Face의 모델 허브와 Nvidia APA 카탈로그에서 이용 가능합니다.
- 이 모델은 2024년 3월 5일까지의 지식을 기반으로 합니다.
- Jamba는 맘바 계층, 트랜스포머 계층, 그리고 맘바+전문가 혼합(mixture of experts, MoE) 계층을 갖춘 새로운 구조로 구성됩니다.
- Jamba의 핵심은 높은 처리량, 낮은 메모리 사용, 그리고 뛰어난 출력 품질을 결합한 것에 있습니다.
- Jamba는 52억 파라미터 중에서 한 번에 12억 파라미터를 사용하여 추론을 수행합니다.
- 이 모델은 높은 컨텍스트 창 처리와 더 빠른 토큰 생성 속도를 지원합니다.
- Jamba는 몇 가지 벤치마크에서 뛰어난 성능을 보여주며, 다양한 평가에서 좋은 결과를 보여줍니다.
5youtube.com(1littlecoder)링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.