Show HN: Cactus – Ollama for Smartphones

제목: "Show HN: Cactus – Ollama for Smartphones"

Cactus는 앱 내에서 LLM/VLM/TTS 모델을 로컬로 배포하는 교차 플랫폼 프레임워크입니다.

Flutter와 React-Native에서 사용할 수 있으며 교차 플랫폼 개발자를 위한 것입니다.

Huggingface의 GGUF 모델을 지원하며, Qwen, Gemma, Llama, DeepSeek 등 다양한 모델 사용 가능.

LLMs, VLMs, Embedding Models, TTS 모델 등을 실행할 수 있습니다.

FP32부터 2비트 양자화 모델까지 지원하여 효율성을 높이고 기기 부담을 줄입니다.

AI 성능을 향상시키기 위한 MCP 도구 호출 기능 포함(알람 설정, 갤러리 검색, 메시지 답장 등).

복잡한 작업이나 기기 실패 시 클라우드 모델로 대체 가능.

Jinja2 지원 및 토큰 스트리밍을 활용한 채팅 템플릿 제공.

설치 방법:

• Flutter:
  • flutter 프로젝트 터미널에서 특정 명령 실행 후 Cactus 패키지 설정.
  • 텍스트 완성, 임베딩, VLM 완성 등 다양한 작업 수행 방법 설명.
  • 클라우드 대체 기능 및 AI 모델 실행 모드 설정 가능.
• React-Native:
  • npm install cactus-react-native 및 npx pod-install 명령을 사용하여 설치.
  • 텍스트 완성, 임베딩, VLM 작업 수행 방법과 클라우드 대체 설정 방법 소개.

C/C++ 백엔드는 휴대폰, 스마트 TV, 시계, 스피커 등에서 직접 실행 가능하며, 다양한 예제와 함께 제공됨.

기기별 성능 테스트 결과:

• 최신 모델의 성능 점수가 나열되어 있으며, iPhone 16 Pro Max가 54 toks/sec로 최고 성능을 기록.

HuggingFace 페이지에서 추천 모델을 제공합니다.