Supabase Edge Functions에서 이제 AI 추론을 사용할 수 있습니다
- Supabase 엣지 기능에서 AI 모델을 실행하기 쉽도록 새로운 내장 API를 제공합니다.
- 이 API를 사용하여 몇 줄의 코드로 추론 작업을 실행할 수 있습니다.
- 새 API를 통해 pgvector를 사용하여 저장 및 검색이 가능한 임베딩을 생성하거나, 더 큰 GPU를 확보함에 따라 순차적으로 제공될 GenAI 작업 부하용 대규모 언어 모델을 사용할 수 있습니다.
- 이전 런칭 주간에는 Transformers.js를 통한 AI 추론 지원을 발표했으나, WASM 런타임을 인스턴스화하고 추론 파이프라인을 구축해야 하므로 "부팅"하는 데 시간이 걸렸습니다.
- Supabase는 더 나은 개발자 경험을 제공하기 위해 Ort를 사용하여 콜드 스타트를 제거하는 개선 사항과 Ollama를 사용하여 LLM 지원을 추가하는 방법을 소개합니다.
- 데이터베이스 웹후크를 사용하여 데이터베이스 테이블에 새로운 행이 삽입될 때마다 자동으로 임베딩을 생성할 수 있습니다.
- 임베딩 모델은 엣지 기능에서 오늘부터 사용 가능하며, gte-small을 지원하며 사용자 피드백에 따라 더 많은 임베딩 모델을 추가할 예정입니다.
- Supabase Edge Functions를 사용하면 OpenAI 임베딩 API보다 10배 저렴하게 텍스트 임베딩을 생성할 수 있습니다.
- 오픈 소스 대규모 언어 모델에 대한 실험적 지원을 발표하며, API는 스트리밍 응답을 지원하는 간단한 사용법을 제공합니다.
- LLM 모델을 ONNX 런타임을 통해 CPU에서 직접 실행하는 것은 도전적이며, 이를 위해 GPU 가속화된 Ollama 서버를 사용합니다.
- 오픈 소스 LLM에 대한 접근은 현재 GPU 인스턴스에 대한 수요를 관리하는 동안 초대 전용입니다.
- 더 많은 모델에 대한 지원을 확장할 계획이며, Supabase 문서를 확인하여 AI 모델을 시작하는 방법을 참조하십시오.
4supabase.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.