윈도우11에서 Gemma3 27b 설치하기

젬마3 27b(gemma) 설치 방법은 크게 2가지가 있다. 더 있을지도 모르지만 기본적으로는
1. ollama에서 다운로드, docker에서 실행
2. LM studio에서 다운로드 받고 실행

윈도우11 기준으로 설명한다.

여기저기 검색해보니 QAT버전을 이용할 수 있는 LM studio가 좋아보이긴 한다.

Ollama, docker 이용

1. Docker: Accelerated Container Application Development
   docker.com으로 가서 amd64 버전으로 다운받는다.
   
   2. 설치를 한다. 그리고 docker desktop 실행시키고 회원가입하고 로그인한다.
   
   3. ollama 설치를 한다. Ollama
   ollama.com → Download for windows

4. 설치를 한다. 그리고 Ollama Search(ollama.com/search)에 가서 gemma3 모델을 선택해서 받는다.

5. GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...) 여기에 접속한다.

6. 아래 시진화면으로 가는 것이다.

7. 아래 Installation with Default Configuration

위 사진에 보면 오른쪽에 복사 모양이 있다. 그거를 누르고 powershell을 실행시켜서 붙여넣기 후 실행시킨다.

8. 위 7번 사진에 보면 3000:8080있다. http://localhost:3000/auth 여기에 접속해서 회원가입 간단히 한다. 그리고 로그인을 한다.

9. 그러면 모델 선택이 가능하다.

LM studio에서 설치하기

1. LM Studio - Discover, download, and run local LLMs
   여기에서 윈도우 버전을 다운받는다.

2. 설치를 한다.

3. 왼쪽에 돋보기 모양 discover를 누른다.

4. 그러면 모델이 여러 개 나오는데 나는 gemma3 27b QAT버전을 선택했다.

5. 오른쪽 아래 download 버튼이 있다.

6. 다운로드 받고 Load 시킨다.