마이크로소프트에서 자체 LLM 인 MAI-1을 개발하고 있다고 합니다. 이를 이끌고 있는 건 전 구글 딥마인드의 공동 창업자이자 inflection 의 CEO를 했던 무스타파 술레이만입니다. 마이크로소프트는 인플렉션의 지적 재산권과 다수의 직원을 포함 6억 5천만 달러에 인수한 바 있습니다.

MAI-1 은 5000억 파라미터가 될 예정이라고 합니다. (500B)

마이크로소프트는 이 모델을 훈련시키기 위해 대규모 서버 클러스터와 Nvidia GPU를 할당했으며 다양한 소스에서 훈련 데이터를 모으고 있습니다.

개발이 순조롭게 이루어진다면 5월 21∼23일 시애틀에서 있을 빌드 개발자 컨퍼런스에서 MAI-1의 미리 보기를 공개할 수 도 있을것 같습니다.

소형 모델은 phi, 대형 모델은 MAI로 자체 모델을 구축하려는 것 같습니다.

OpenAI랑 협력 하면서 자체 노선도 따로 구축해 버리네요. MAI는 내부 프로젝트 명인거 같고 이름은 바뀔 수 도 있을 것 같습니다. 만약에 나온다면 파라미터 규모로는 메타의 llama3 400B랑 비슷할 것 같습니다.

마이크로소프트에서 자체 LLM 인 MAI-1을 개발하고 있다고 합니다. 이를 이끌고 있는 건 전 구글 딥마인드의 공동 창업자이자 inflection 의 CEO를 했던 무스타파 술레이만입니다. 마이크로소프트는 인플렉션의 지적 재산권과 다수의 직원을 포함 6억 5천만 달러에 인수한 바 있습니다.MAI-1 은 5000억 파라미터가 될 예정이라고 합니다. (500B)마이크로소프트는 이 모델을 훈련시키기 위해 대규모 서버 클러스터와 Nvidia GPU를 할당했으며 다양한 소스에서 훈련 데이터를 모으고 있습니다.개발이 순조롭게 이루어진다면 5월 21∼23일 시애틀에서 있을 빌드 개발자 컨퍼런스에서 MAI-1의 미리 보기를 공개할 수 도 있을것 같습니다.소형 모델은 phi, 대형 모델은 MAI로 자체 모델을 구축하려는 것 같습니다.OpenAI랑 협력 하면서 자체 노선도 따로 구축해 버리네요. MAI는 내부 프로젝트 명인거 같고 이름은 바뀔 수 도 있을 것 같습니다. 만약에 나온다면 파라미터 규모로는 메타의 llama3 400B랑 비슷할 것 같습니다.

마이크로소프트 대규모 AI 언어 모델인 MAI-1 개발 중