Meta, Llama 3.1 출시: 405B 파라미터 오픈 소스 모델
- 메타, 새로운 405B 파라미터 오픈소스 모델인 "Llama 3.1" 출시
- 오픈소스 AI의 중요성에 대한 마크 저커버그의 서한
- Llama 3.1 405B 모델, 128K 문맥 길이 확대 및 8개 언어 지원
- 유연성, 제어 및 최첨단 기능으로 닫힌 모델에 필적하는 성능 제공
- 합성 데이터 생성 및 모델 증류와 같은 새로운 워크플로우 가능
- Llama Guard 3 및 Prompt Guard와 같은 보안 도구 도입
- Llama Stack API 공개 의견 요청
- AWS, NVIDIA, Databricks 등 25개 파트너와의 첫날 서비스 제공
- WhatsApp 및 meta.ai에서 모델 체크 가능
- Llama 3.1, 일반 지식, 조정성, 수학, 도구 사용, 다중 언어 번역에서 최첨단 기능 제공
- 8B와 70B 모델 업그레이드, 128K 문맥 길이, 고급 도구 사용 가능
- 테스트를 통해 GPT-4, GPT-4o, Claude 3.5 Sonnet와 경쟁력 확인
- 새로운 모델, 15조 개 토큰으로 훈련, 16,000+ H100 GPU 사용
- 16비트(BF16)에서 8비트(FP8)로 모델 양자화, 단일 서버 노드로 실행 가능
- 최종 채팅 모델, 여러 번의 정렬과 거절 샘플링 사용
- Llama Stack, 표준화된 인터페이스 제공하여 개발자 지원
- 오픈소스 접근, 전 세계 더 많은 사람들이 AI의 이점을 누릴 수 있게 도움
- 405B 모델 사용, 대규모 자원 및 전문 지식 필요
- 멀티태스킹 및 배치 추론, 감독된 세부 튜닝, 모델 평가 및 지속적 사전 훈련 등 지원
- AWS, NVIDIA, Databricks 등의 파트너와 협력해 클라우드 배포 최적화
- vLLM, TensorRT, PyTorch 등과 협력해 첫날부터 생산 배포 준비
- 모델 출시 전 리스크 식별 및 평가, 다각적 검토 실시
- 모델 사용 사례들을 통해 커뮤니티에서 창조적인 솔루션 기대
5ai.meta.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.