Ollama 설치와 첫 실행

설치는 짧게, 이해는 길게

이제 진짜로 Ollama를 설치해 볼 차례입니다. 앞 장에서 내 컴퓨터가 어느 정도까지 버틸지 점검했다면, 이번 장에서는 그 준비물을 실제로 돌아가는 환경으로 바꿉니다. 좋은 소식은 설치 자체는 어렵지 않다는 점입니다. 더 중요한 건 설치가 끝난 뒤, Ollama가 어떤 방식으로 켜지고, 내 명령이 어디로 전달되며, 정상 설치를 어떻게 확인하는지를 이해하는 일입니다.

Ollama는 macOS, Windows, Linux에서 사용할 수 있고, 기본적으로 로컬 컴퓨터에서 모델을 관리하고 실행하는 도구입니다.¹ 겉으로는 ollama라는 명령 하나로 보이지만, 실제로는 뒤에서 요청을 받아 처리하는 로컬 서버가 함께 움직입니다. 이 구조를 한 번 이해해 두면 이후 장의 CLI, API, 코드 연동이 훨씬 자연스럽게 이어집니다.

Ollama는 어떻게 켜지는가

처음 쓰는 사람은 종종 이렇게 생각합니다. "설치했는데 이제 앱을 여는 건가, 아니면 터미널 명령을 치는 건가?" 정답은 환경에 따라 둘 다 맞습니다.

Ollama는 크게 두 얼굴이 있습니다. 하나는 우리가 터미널에서 만나는 CLI(Command Line Interface) 입니다. 쉽게 말해 명령줄 도구입니다. 다른 하나는 로컬에서 요청을 받아 처리하는 서버입니다. 이 서버가 살아 있어야 ollama run, ollama ls, ollama ps, API 호출 같은 동작이 제대로 돌아갑니다.¹³

실제로는 다음처럼 생각하면 이해가 쉽습니다.

즉, Ollama는 "명령어만 있는 도구"가 아니라, 로컬 서버를 중심으로 움직이는 실행 환경이라고 보면 됩니다. 이 감각만 잡아도 이후에 "왜 API 주소가 localhost:11434지?", "왜 앱을 안 켰는데 연결 오류가 나지?" 같은 의문이 훨씬 덜 생깁니다.

macOS 설치

macOS에서는 가장 자연스럽게 시작할 수 있습니다. 특히 Apple Silicon 맥에서는 경험이 꽤 매끈한 편입니다. 다만 공식 문서 기준으로 macOS Sonoma 14 이상이 필요하고, Apple M 시리즈는 CPU와 GPU를 함께 활용, x86 맥은 CPU 전용 실행으로 보는 편이 안전합니다.²

가장 쉬운 방법은 공식 사이트에서 설치 파일을 받아 앱처럼 설치하는 것입니다. ollama.dmg를 열고 Ollama 앱을 Applications 폴더로 옮긴 뒤 실행하면 됩니다.² 처음 실행 시 ollama CLI를 PATH에 연결할 수 있도록 권한을 묻는 안내가 나올 수 있는데, 허용해 두면 터미널에서 ollama 명령을 바로 쓸 수 있습니다.²

설치가 끝났다면 터미널에서 아래 명령으로 먼저 확인합니다.

ollama --version

버전이 보이면 1차 관문은 통과입니다. 만약 command not found가 뜬다면 너무 당황하지 말고, 터미널을 완전히 닫았다가 다시 열거나 Ollama 앱을 한 번 직접 실행한 뒤 다시 시도해 보세요.

Windows 설치

Windows에서는 보통 공식 다운로드 페이지에서 설치 프로그램을 받아 실행하는 방식이 가장 간단합니다. 설치가 끝난 뒤에는 새 PowerShell 또는 명령 프롬프트 창을 열고 아래처럼 확인하면 됩니다.⁴¹

ollama --version

Windows에서 자주 만나는 첫 문제는 설치가 끝났는데 명령이 바로 안 먹는 상황입니다. 이 경우는 대개 설치 실패라기보다 새 터미널 창이 아직 경로 변경을 반영하지 못했거나, 앱이 아직 실행되지 않은 경우가 많습니다. 먼저 새 터미널을 다시 열어 보고, 그래도 안 되면 시작 메뉴에서 Ollama를 한 번 실행한 뒤 다시 시도해 보는 편이 빠릅니다.

또 한 가지 기억할 점이 있습니다. 예전 Windows 환경에서는 터미널 표시 문제가 생길 수 있습니다. 공식 트러블슈팅 문서도 오래된 Windows 10 버전에서 제어 문자 출력 문제가 있을 수 있다고 안내합니다.⁴ 이상한 제어 문자가 줄줄이 보인다면 운영체제 업데이트부터 확인하는 편이 좋습니다.

Linux 설치

Linux에서는 공식 설치 스크립트가 가장 빠른 출발점입니다.³

curl -fsSL https://ollama.com/install.sh | sh

정상 설치 후 버전 확인은 역시 같습니다.

ollama --version

Linux의 좋은 점은 선택지가 많다는 것입니다. 가장 단순하게는 터미널에서 직접 서버를 띄우면 됩니다.

ollama serve

이 방식은 지금 무엇이 일어나는지 눈으로 보기 좋습니다. 특히 처음 설치한 날에는 "정말 서버가 살아 있나?"를 확인하기에 좋습니다. 반면 서버나 워크스테이션처럼 계속 켜 둘 환경이라면 systemd 서비스로 등록하는 편이 더 편합니다. 공식 Linux 문서도 startup service 등록을 권장하고, 서비스 파일 생성과 systemctl 명령 예시를 함께 제공합니다.³

즉, Linux에서는 이렇게 기억하면 됩니다. 테스트할 때는 ollama serve, 계속 쓸 때는 서비스 등록입니다.

첫 실행에서 꼭 확인할 것

설치가 끝났다고 해서 바로 마음 놓기는 이릅니다. 진짜 중요한 건 내 컴퓨터에서 Ollama가 실제로 응답하는가입니다. 가장 안전한 확인 순서는 다음과 같습니다.

먼저 버전을 봅니다.

ollama --version

그다음 설치된 모델 목록을 확인합니다.

ollama ls

아직 아무 모델도 내려받지 않았다면 빈 목록이 나와도 괜찮습니다. 중요한 건 오류 없이 응답이 나온다는 점입니다. 이건 CLI와 로컬 서버가 최소한 정상적으로 연결되고 있다는 뜻입니다.

한 번 더 확인하고 싶다면 아래 명령도 유용합니다.

ollama ps

이 명령은 지금 메모리에 올라와 있는 모델을 보여 줍니다. 처음 설치 직후에는 대개 비어 있습니다. 비어 있어도 정상입니다. 지금은 "아직 모델을 올리지 않았다"는 뜻일 뿐입니다.

ollama serve는 언제 직접 써야 할까

초보자에게 가장 헷갈리는 명령 중 하나가 ollama serve입니다. 이름부터 뭔가 진지해서 괜히 "이걸 먼저 안 치면 아무것도 안 되나?" 하고 긴장하게 됩니다.

정리하면 이렇습니다.

• macOS와 Windows에서 앱 설치 방식으로 시작했다면, 보통은 앱이 백그라운드에서 서버 역할을 맡아 주므로 ollama serve를 매번 직접 칠 필요가 없습니다.

• Linux에서는 수동으로 테스트하거나, 데스크톱 앱 없이 CLI 중심으로 쓰는 경우 ollama serve를 직접 실행하는 일이 흔합니다.³

• 로그를 눈으로 보고 싶거나, 현재 세션에서 서버를 직접 제어하고 싶을 때도 ollama serve가 유용합니다.

즉, ollama serve는 "항상 먼저 쳐야 하는 주문"이라기보다 서버를 내가 직접 앞에 세우고 싶을 때 쓰는 명령입니다.

설치 직후 흔히 만나는 문제

ollama: command not found

이 경우는 대개 설치 실패라기보다 터미널이 아직 새 경로를 모르는 상태인 경우가 많습니다. 터미널을 완전히 닫고 다시 열어 보세요. macOS나 Windows라면 Ollama 앱을 한 번 실행한 뒤 재시도하는 것도 좋습니다.

연결 오류가 난다

이때는 서버가 안 떠 있는 경우를 먼저 의심하면 됩니다. macOS나 Windows라면 앱이 실행 중인지 보고, Linux나 수동 설치 환경이라면 아래처럼 직접 서버를 올려 보세요.

ollama serve

Linux에서 서비스 방식으로 운영 중이라면 상태와 로그를 확인하는 습관이 유용합니다.³

sudo systemctl status ollama
journalctl -e -u ollama

설치는 됐는데 너무 느리다

이건 설치 문제라기보다 대개 모델 크기와 하드웨어의 균형 문제입니다. 설치가 정상이어도 너무 큰 모델을 고르면 첫인상이 좋지 않을 수 있습니다. 이 경우는 다시 설치하기보다, 더 작은 모델부터 시작하는 편이 훨씬 낫습니다.

정상 설치 체크리스트

아래 항목이 모두 통과되면 이번 장의 목표는 달성한 것입니다.

• ollama --version이 정상 출력된다.

• ollama ls가 오류 없이 실행된다.

• 필요할 때 ollama serve로 서버를 직접 띄울 수 있다.

• macOS 또는 Windows에서는 앱 실행과 터미널 명령의 관계를 이해했다.

• Linux에서는 수동 실행과 서비스 실행의 차이를 구분할 수 있다.

여기서 막히지 않았다면 이후 실습 대부분은 꽤 수월하게 따라갈 수 있습니다. 이제 컴퓨터는 준비를 마쳤고, 다음 장에서는 진짜로 첫 모델을 내려받아 대화를 시작하게 됩니다. 말하자면 이번 장은 무대 설치였고, 다음 장부터 배우가 등장합니다.

참고

¹ollama/README.md at main · ollama/ollama · GitHub

²macOS - Ollama

³Linux - Ollama

⁴Troubleshooting - Ollama