NPU에서 DeepSeek R1 모델을 로컬로 실행하기
- AI는 엣지로 점점 더 가까워지고 있으며, Copilot+ PC가 이를 선도하고 있음.
- Azure AI Foundry에서 제공하는 클라우드 호스팅 DeepSeek R1을 통해 NPU 최적화 버전을 Copilot+ PC에 직접 제공.
- Qualcomm Snapdragon X를 시작으로 Intel Core Ultra 200V 등이 이어질 예정.
- 첫 릴리즈로 DeepSeek-R1-Distill-Qwen-1.5B가 AI Toolkit에서 사용 가능하며, 이후 7B와 14B 버전도 출시 예정.
- 최적화된 모델을 통해 개발자가 효율적으로 온디바이스 AI 애플리케이션을 개발 및 배포할 수 있음.
- NPU는 모델 추론을 위한 고효율 엔진으로, 방대한 AI 프로세스를 실행할 수 있게 해줌.
- Phi Silica 작업을 통해 효율적인 추론과 낮은 배터리 소비를 실현.
- 최적화된 DeepSeek 모델은 성능과 효율성을 극대화하며, 낮은 비트율 양자화와 NPU로의 매핑을 적용.
- Windows Copilot Runtime을 이용해 다양한 Windows 생태계에서 확장 가능.
- AI Toolkit VS Code 확장 프로그램을 통해 DeepSeek 모델을 로컬에서 사용 가능.
- ONNX QDQ 포맷을 사용하여 다양한 Windows NPU에서 최대 효율과 속도를 구현.
- 낮은 메모리 소비와 빠른 추론을 위해 슬라이딩 윈도우 디자인과 4비트 QuaRot 양자화 기법 적용.
- 빠른 처리 속도와 전원 효율성을 갖춘 최적화된 모델로 로컬에서 상호 작용 가능.
5blogs.windows.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.