검색
검색
공개 노트 검색
회원가입로그인

ollama - 로컬에서 오픈소스 LLM을 돌릴 수 있는 라이브러리

올라마 : 로컬에서 Llama2, Code Llama 등 LLM 모델을 돌릴 수 있는 서비스. 현재는 mac과 Linux만 가능하고 윈도우는 곧 출시될 예정이라고 한다.

Ollama : 공식 사이트

캐릭터가 귀엽다! ㅋㅋ

ollama - 로컬에서 오픈소스 LLM을 돌릴 수 있는 라이브러리 image 1

시스템 사양은 다음과 같다.

Ollama는 8GB 메모리 (가급적이면 VRAM)이 장착된 기계를 지원합니다. 현재 GPU 가속을 위해서는 Nvidia GPU가 필요합니다.

Hello! Sorry for the slow reply, just saw this. Ollama generally supports machines with 8GB of memory (preferably VRAM). Mac and Linux machines are both supported – although on Linux you'll need an Nvidia GPU right now for GPU acceleration. More hardware support is on the way!

on reddit forum.

8GB 메모리라고 하지만 큰 모델일 경우 더 필요할 것으로 사료된다!

조회수 : 832
heart
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기
T
페이지 기반 대답
AI Chat