마이크로소프트가 Windows Settings의 AI 에이전트를 구동하는 Mu 언어 모델을 소개합니다.
- Microsoft는 새로운 소형 언어 모델 Mu를 소개하며, Windows 설정 AI 에이전트를 지원한다고 발표했습니다.
- Mu 모델은 복잡한 입력과 출력 관계를 추론하고, 장치 안에서 효율적으로 작동하여 높은 성능을 제공합니다.
- Mu는 설정 에이전트의 자연어 입력 쿼리를 설정 함수 호출로 매핑하며, Windows Insiders의 Dev Channel에서 Copilot+ PC와 함께 사용 가능합니다.
- Neural Processing Unit(NPU)에 완전히 오프로드되어 초당 100개 이상의 토큰 응답을 지원합니다.
- Mu는 NPU 및 엣지 디바이스에 최적화된 330M 인코더-디코더 언어 모델로 개발되었습니다.
- 인코더-디코더 아키텍처를 채택하여 입력의 잠재 표현을 재사용함으로써 효율성을 높이고 메모리 및 계산 부담을 줄였습니다.
- Qualcomm Hexagon NPU에서 Mu의 첫 번째 토큰 지연 시간이 47% 감소하고 디코딩 속도가 4.7배 높습니다.
- Mu는 NPU의 병렬 처리 및 메모리 제한에 맞춘 모델 아키텍처와 파라미터 구성으로 최적화되었습니다.
- Mu는 다양한 컴포넌트에서 파라미터 공유를 활용하여 메모리를 절약하고 일관성을 유지합니다.
- NPU에 최적화된 운영자들을 사용하여 장치 내 실시간 추론을 최적화합니다.
- Dual LayerNorm, Rotary Positional Embeddings, Grouped-Query Attention을 통해 작은 모델에서도 높은 성능을 확보합니다.
- Azure Machine Learning에서 A100 GPU를 사용하여 Mu를 훈련하며, 교육 토큰을 통해 언어 구문, 문법, 의미 및 세계 지식을 학습하였습니다.
- Mu는 SQUAD, CodeXGlue, Windows Settings agent와 같은 다양한 작업에 비정형 사전 훈련을 통해 탁월한 성능을 발휘합니다.
- 모델 양자화 및 최적화 과정을 거쳐 Copilot+ PC의 NPU에서의 효율적인 실행을 돕습니다.
- AMD, Intel, Qualcomm과의 협력을 통해 산술 연산자 조정 및 하드웨어 실행 패턴을 동기화하여 실리콘 전반에서 성능을 검증합니다.
- Windows 설정에서 AI 에이전트를 구축하여 자연어 이해를 통해 설정을 쉽게 변경할 수 있도록 합니다.
- 다양한 사용자 입력과 시나리오를 처리할 수 있는 평가 세트를 구축하여 다양한 설정에서 높은 정확도를 유지합니다.
- 사용자 피드백을 통해 Windows 설정 에이전트를 계속 개선할 계획이라고 밝혔습니다.
4blogs.windows.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.