Llama 3.2 출시! - 1B, 3B (경량화), 11B, 90B (비전 언어)
Llama 3.1 출시 이후 성과:
Llama 3.1 모델군, 특히 405B 모델 덕분에 큰 성과를 이루어냄
높은 컴퓨팅 자원 및 전문 지식 필요
Llama 3.2 출시 발표
소형 및 중형 비전 LLM(11B, 90B) 포함
경량 텍스트 전용 모델(1B, 3B)도 포함 - 엣지 및 모바일 디바이스에 적합 - 다국어 지원 및 128K 컨텍스트 창.
Llama 3.2 성과 및 접근성:
Openness, modifiability, cost efficiency 중심
Meta 파트너사와 협력하여 서비스 제공
다운로드 및 개발 환경:
Llama 웹사이트와 Hugging Face에서 다운로드 가능
파트너 플랫폼에서 즉시 개발 가능
협력사:
AMD, AWS, Databricks, Dell, Google Cloud 등
비전 모델 지원:
11B, 90B 모델: 문서 이해, 이미지 캡션 생성 및 시각적 지향 문제 해결
경량 모델 기능:
1B, 3B 모델: 다국어 텍스트 생성 및 도구 호출 가능
프라이버시 보호
모델 성능 평가:
Llama 3.2 비전 모델, 주요 모델들과 경쟁 가능
1B, 3B 모델도 뛰어난 성능
비전 모델 훈련 방법:
프리트레인된 텍스트 모델에 이미지 어댑터 추가
대규모 텍스트-이미지 데이터로 추가 훈련
경량 모델 훈련 방법:
가지치기와 지식 증류 활용
Llama 3.1 모델을 기반으로 한 교사 모델 사용
Llama Stack 배포:
다양한 배포 옵션: 단일 노드, 클라우드, 온디바이스, 온프레미스 지원
API 제공자와의 협력
시스템 수준의 안전성:
Llama Guard 3을 통한 안전성 강화
이미지 이해 기능을 지원하는 11B 모델
Llama 3.2 사용 가능:
오픈 소스 커뮤니티와 협력 지속
Responsible Use Guide 업데이트
벤치마크
Llama 3.2: Revolutionizing edge AI and vision with open, customizable models
