AI 스타트업 Prime Intellect가 세 대륙에 걸쳐 첫 분산 LLM을 훈련시키다.
- AI 스타트업 Prime Intellect는 미국, 유럽, 아시아에 걸쳐 분산된 컴퓨터를 사용하여 100억 파라미터 언어 모델을 훈련했습니다.
- Intellect-1은 분산 접근 방식을 사용하여 훈련된 첫 번째 언어 모델로서, 다음 주에 오픈 소스로 공개될 예정입니다.
- 이 프로젝트의 목표는 소규모 조직도 대형 AI 모델을 구축할 수 있음을 보여주고, 누구나 컴퓨팅 파워를 제공하여 투명하고 자유롭게 이용 가능한 AI 시스템을 만드는 것이다.
- Prime Intellect는 데이터 전송 요구를 줄이기 위해 DeepMind의 DiLoCo 방법의 오픈 소스 버전인 OpenDiLoCo를 사용했습니다.
- 신뢰성 있는 분산 훈련 시스템을 만들었으며, 누구나 컴퓨팅 파워를 기여할 수 있는 플랫폼을 개발 중입니다.
- Intellect-1은 LLaMA-3 아키텍처를 기반으로 대규모 오픈 소스 데이터셋으로 훈련되었습니다.
- Prime Intellect는 이 접근 방식을 확장하여 더 발전된 모델 훈련을 목표로 하고 있으며, 협력과 컴퓨팅 자원의 지원을 구하고 있습니다.
- Intellect-1은 100억 파라미터로 현재 기준으로는 비교적 소규모이지만, AI 개발의 접근성을 향상시키는 데 의미 있는 진전입니다.
5the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.