microsoft build 2024 기조 연설 노트 정리
마이크로소프트 빌드 2024
빌드는 마이크로소프트의 개발자 컨퍼런스입니다.
빌드 기조 연설을 시청하면서 메모를 남깁니다. (경험적 이해)
phi-3로 RAG로 최적화해서 사용하는 사례가 있었음.
Microsoft Copilot
copilot stack
코파일럿 스택은 LLM을 사용하는 앱이나 커스텀 코파일럿을 만들 때 사용하는 설계 패턴이다.
코파일럿 스택 설명 : Understanding the Copilot Stack
Windows Copilot Runtime
런타임은 개발자가 운영체제 레벨에서 상호작용할 수 있는 방법. 예를 들어 소형 언어 모델인 Phi Silica를 로컬에서 실행할 수 있다.
Windows Copilot Library
Windows Copilot Library는 앱 개발자가 자신의 앱에 AI 기능을 통합할 수 있도록 지원하고 API를 제공한다.
예를 들어 인공지능 카메라와 오디오 기능을 사용할 수 있는 Studio Effects, 과거 활동을 검색하는 Recall, 자연어 처리 작업을 위한 Phi Silica, 이미지에서 텍스트를 추출하는 OCR, 실시간 자막 번역인 라이브 캡션 등을 활용할 수 있다. 이러한 API는 Windows App SDK의 일부로 제공된다.
소개 : Windows Copilot Runtime개요
Phi-Silica : 로컬에 내장된 LLM
PyTorch, Web Neural Network (웹 개발자가 GPU와 NPU에 직접 액세스) 지원.
Azure 슈퍼 컴퓨터 구축. AI 추론 함대를 구성.
Phi-3 작은 언어 모델.
Cobalt = ARM 기반의 칩.
코파일럿 = 게임, 코드, 문서 등 gpt-4o로 사용할 수 있음.
이제 웹사이트와 말로 소통하는 AI 앱을 쉽게 만들 수 있다.
Azure를 통해 허깅 페이스의 오픈 소스 AI에 접근할 수 있다.
소규모 언어모델 (Phi-3 SLM)
Phi-3-mini : 3.8B의 초소형 모델.
Phi-3-vision : 4.2B 이미지 인식 모델.
phi-3-small : 7B의 작은 모델.
phi-3-medium : 14B 중간 모델.
작은 모델은 로컬과 클라우드 모두에서 쉽게 돌아감.
개인 코치. 칸 아카데미. 수학 도우미. 모든 미국 교사에게 무료로 제공. khanmingo. 수학에 파인튜닝된 모델.
Azure AI Studio 일반 공급. AI 안전. 고유한 프롬프트 쉴드를 만들 수 있음.
마이크로소프트 패브릭 : 단일 통합 SAS 플랫폼. 데이터 통합 및 분석.
Azure AI Search : 다양한 규모의 데이터에 RAG 검색 가능.
Github Copilot. (5만개의 조직에서 사용 중.) 아이디어에서 코드로 이동하기가 쉬워짐. 음성 인식 기능 생김.
코파일럿 워크스페이스.
코드 저장소 레벨에서 계획을 세우고 분석.
github copilot extensions. 깃허브 코파일럿 확장앱.
@azure로 확장 프로그램에 물어보는 모습.
조직 내부의 지식 통합.
코파일럿 스튜디오 : 커스텀 코파일럿 만들기. 에이전트. (지침, 트리거, 액션)
팀 코파일럿.
시사점
일단 마소가 플랫폼 기반의 회사라는 것을 이해할 필요가 있다. AI 인프라와 플랫폼을 초기에 장악하기 위해 모든 노력을 기울이고 있다. NPU와 같은 하드웨어와 PC, 애저 클라우드 인프라, 다양한 마소앱을 활용한 개인 및 조직 내부의 지식 통합 등을 지향한다.
마이크로소프트가 how 에 초점을 맞추어 혁신을 하는 회사이다. 그렇기 때문에 실행에 있어서 Excellence를 유지하려 할 것이다.
빌드는 개발자 컨퍼런스이다. 개발에 다양한 지원을 하는 것이 보인다.
NPU, 코파일럿+PC, 리콜, 로컬 LLM, 애저 등 하나하나 강력한 전략을 펼치는 것 같다.
phi 소형 모델은 로컬 LLM이 PC에 통합된다는 것을 확인시켜주는 대목이다.
코파일럿+PC 와 gpt-4o가 결합한다면 우리가 컴퓨터를 사용하는 방식 자체가 변할 수 도 있겠다는 생각이 들었다.
