애플 인텔리전스 - 애플이 개발한 LLM (~3b 모델, 서버 모델)
Apple Intelligence
Apple이 iPhone, iPad, Mac용 개인 인텔리전스 시스템 Apple Intelligence를 도입
Apple Intelligence는 개인적 맥락과 결합된 생성 모델의 힘을 활용하여 유용한 인텔리전스를 제공
iOS 18, iPadOS 18, macOS Sequoia와 깊이 통합됨
Apple 실리콘의 힘을 활용하여 언어와 이미지를 이해하고 생성, 앱 간 작업 수행 및 개인적 맥락을 활용하여 일상 작업을 단순화하고 가속화
Private Cloud Compute를 통해 AI 프라이버시의 새로운 기준 설정, 온디바이스 처리와 서버 기반 모델 간의 계산 용량을 유연하게 조절
새로 도입된 시스템 전반에 걸친 Writing Tools로 이메일, 노트, 블로그 포스트 등의 텍스트를 재작성, 교정 및 요약 가능
Mail 앱에서 긴 이메일 스레드의 요약, 스마트 답장 제안 기능 제공
우선순위 알림 기능으로 중요한 알림을 상단에 표시, 새로운 Reduce Interruptions Focus로 즉시 주의가 필요한 알림만 표시
Notes 및 Phone 앱에서 오디오 녹음, 전사 및 요약 가능
Image Playground 기능으로 다양한 스타일의 이미지를 빠르게 생성, 메시지 앱 등에서 사용 가능
Genmoji 기능으로 사용자 맞춤형 이모티콘 생성 가능
Photos 앱에서 자연어를 사용하여 특정 사진 검색, Clean Up 도구로 사진의 방해 요소 제거 가능
Siri는 더 자연스럽고 개인적인 언어 이해 기능 강화, 텍스트와 음성 간 전환 가능
Apple Intelligence는 사용자의 프라이버시를 보호하면서 깊은 개인적 맥락을 이해함
ChatGPT가 Apple 플랫폼에 통합되어 Siri 및 시스템 전반의 Writing Tools (쓰기 도구)에서 사용 가능
Apple Intelligence는 iOS 18, iPadOS 18, macOS Sequoia의 베타 버전에서 무료로 제공 예정, iPhone 15 Pro, iPhone 15 Pro Max, M1 이상 장착 iPad 및 Mac에서 사용 가능
애플 파운데이션 모델
Apple intelligence 는 3b 로컬 모델과 서버 모델이 있고 애플 자체 개발이네요. 서버 모델은 gpt 3.5 보다 좋은 수준인것 같습니다. 로컬에 기본적으로 처리하고 높은 성능의 연산이 필요하면 서버로 보내서 처리하는 방식입니다.
주요 기능: 텍스트 작성 및 수정, 알림 요약, 이미지 생성, 앱 간 작업 간소화
모델 개요
~30억 매개변수의 온디바이스 언어 모델 (3B 로컬 모델)
Private Cloud Compute를 사용하는 대형 서버 기반 언어 모델 (서버 모델)
사용자의 다양한 활동에 맞춤형 어댑터 사용
이미지 생성을 위한 디퓨전 모델.
코딩 모델 (Xcode에 병합 예정)
모델 훈련 및 최적화
Apple의 AXLearn 프레임워크 사용
TPU, GPU를 이용한 대규모 모델 훈련
데이터 품질 유지 위해 인간 주석 및 합성 데이터 사용
Rejection sampling finetuning 알고리즘 (a rejection sampling fine-tuning algorithm with teacher committee)
RLHF 알고리즘 사용으로 모델 성능 향상
모델 성능
다양한 벤치마크에서 경쟁 모델보다 우수한 성능
인간 평가에서 높은 만족도
유해 콘텐츠 및 민감한 주제에서 낮은 위반율
평가 및 결과
이메일과 알림 요약에서 높은 만족도와 낮은 불만율 기록
지시 수행 능력, 쓰기 능력 등에서 높은 평가
Apple의 온디바이스 모델 및 서버 모델 모두 경쟁 모델보다 우수한 성과
결론
Apple Intelligence는 iPhone, iPad, Mac에서 강력한 기능을 제공
Apple의 핵심 가치를 반영하여 책임감 있게 개발
향후 더 많은 생성 모델 정보 공개 예정
참고
