엑소: 일상적인 기기를 통해 집에서 자신의 AI 클러스터 운영하기

기사 제목: "Exo: 일상 기기로 집에서 자신의 AI 클러스터 실행하기"

주요 내용:

• Exo Labs에서 유지 관리하는 소프트웨어로, 비용이 많이 드는 NVIDIA GPU 대신 iPhone, iPad, Android, Mac, Linux 등 다양한 기기를 통합하여 강력한 GPU로 변환.
• Exo는 실험적인 소프트웨어로, 초기에는 버그가 발생할 수 있으며, 커뮤니티의 기여를 환영.
• 주요 기능:
  • 광범위한 모델 지원: LLaMA 및 기타 인기 모델 지원.
  • 동적 모델 분할: 네트워크 토폴로지 및 가용 자원에 따라 모델을 최적으로 분할.
  • 자동 기기 검색: 최적의 방법으로 다른 기기를 자동으로 검색, 수동 설정 불필요.
  • ChatGPT 호환 API: Exo를 사용해 자체 하드웨어에서 모델을 실행할 수 있는 간단한 API 제공.
• 설치 방법:
  • 소스에서 설치 권장:

    git clone https://github.com/exo-explore/exo.git
    cd exo
    pip install -r requirements.txt
    

• 다중 MacOS 기기에서의 예제 사용법:
  • Device 1: python3 main.py
  • Device 2: python3 main.py
• Inference Engine 지원:
  • ✅ MLX
  • ✅ tinygrad
  • 🚧 llama.cpp
• 네트워킹 모듈 지원:
  • ✅ GRPC
  • 🚧 Radio
  • 🚧 Bluetooth
• 알려진 문제:
  • 라이브러리의 빠른 진화로 인해 iOS 구현이 Python 버전에 뒤처지고 있음. 장기적으로 구현을 통합하는 방안을 추진 중.

추가 정보:

• Exo 라이브러리를 통해 peer handles을 사용하여 네이티브 방식으로 모델에 접근 가능.
• ChatGPT 호환 API 엔드포인트도 지원.
• 라이브러리는 빠르게 진화 중이며, 커뮤니티 피드백과 기여 중요.