첫 모델과 대화하기: run, pull, REPL의 기초

이제부터가 진짜 시작입니다. 설치가 무대 세팅이었다면, 이번 장은 배우가 처음 등장하는 장면입니다. Ollama의 핵심 경험은 복잡한 설정이 아니라 모델을 내려받고, 바로 실행해서, 내 말에 답하게 만드는 것에 있습니다.

처음에는 명령이 몇 개 안 되는 것처럼 보입니다. 실제로도 그렇습니다. pull은 모델을 내 컴퓨터로 가져오는 명령이고, run은 그 모델을 실행해 대화를 시작하는 명령입니다. 그리고 run으로 들어가는 대화 화면이 바로 REPL입니다. 이름은 조금 딱딱하지만, 여기서는 그냥 터미널 안의 채팅창 정도로 이해하면 충분합니다.

pull과 run은 어떻게 다를까

가장 먼저 감을 잡아야 할 것은 두 명령의 역할 차이입니다.

• ollama pull 모델명은 모델 파일을 로컬에 내려받습니다.

• ollama run 모델명은 모델을 실행해 바로 대화를 시작합니다.¹

처음 배우는 단계에서는 이 둘을 분리해서 쓰는 편이 좋습니다. 왜냐하면 지금이 다운로드 단계인지, 실행 단계인지가 눈에 잘 들어오기 때문입니다. 익숙해지면 run만으로도 자연스럽게 쓰게 되지만, 초반에는 pull을 먼저 해 보는 편이 훨씬 덜 헷갈립니다.

쉽게 비유하면 이렇습니다. pull은 책을 책장에 꽂는 일이고, run은 그 책을 펼쳐 읽기 시작하는 일입니다.

첫 모델 내려받기: ollama pull

가볍게 시작하고 싶다면 비교적 작은 모델부터 고르는 편이 좋습니다. 모델 이름은 Ollama 라이브러리나 검색 페이지에서 확인할 수 있고, 실제 다운로드는 아래처럼 진행합니다.¹

ollama pull gemma3

내려받기가 끝났다면, 모델이 로컬에 잘 들어왔는지 확인해 봅니다.

ollama ls

여기서 중요한 건 단순히 이름을 보는 일이 아닙니다. 모델이 이제 내 컴퓨터 안에 저장되었다는 감각을 잡는 일입니다. 이 단계가 끝나면 이후에는 그 모델을 로컬에서 바로 실행할 수 있습니다.

모델 실행과 첫 대화: ollama run

이제 모델을 실제로 불러 보겠습니다.

ollama run gemma3

정상적으로 실행되면 터미널이 평소와 조금 달라지고, 대화형 입력 상태로 들어갑니다. 여기서부터는 명령줄이라기보다 채팅창에 더 가깝습니다.

예를 들면 이렇게 시작할 수 있습니다.

>>> 너를 한 문장으로 소개해 줘.

그리고 바로 이어서 이렇게 물을 수 있습니다.

>>> 방금 답을 더 친근한 말투로 바꿔 줘.

두 번째 질문이 자연스럽게 통하는 이유는, 같은 세션 안에서는 앞선 대화의 맥락이 이어지기 때문입니다. 즉, REPL은 한 번 질문하고 끝나는 창이 아니라 문맥이 이어지는 대화 공간입니다.

REPL에서 바로 써먹는 기본 조작

REPL 안에 들어가면 몇 가지 작은 기술이 금방 큰 편리함으로 바뀝니다.

• 긴 입력은 """로 감싸 멀티라인으로 넣을 수 있습니다.¹

• 설정이 필요하면 /set 계열 명령으로 세션 파라미터를 바꿀 수 있습니다.³

• 대화를 마치면 Ctrl+D나 종료 명령으로 일반 터미널로 돌아올 수 있습니다.

멀티라인 입력은 특히 자주 쓰입니다.

>>> """아래 문단을 세 줄로 요약해 줘.
... 로컬 LLM은 인터넷 연결 없이도 실행할 수 있고,
... 민감한 데이터를 외부 서버로 보내지 않아도 되며,
... 개발자가 실험을 빠르게 반복하기 좋다.
... """

이 방식은 긴 문단, 회의록, 에러 로그, 메모 초안을 붙여 넣을 때 아주 편합니다. 짧게 말하면, REPL은 한 줄 질문만 받는 곳이 아닙니다.

한 번만 묻고 끝내기: 단일 프롬프트 실행

항상 대화 모드로 들어가야 하는 것은 아닙니다. 어떤 때는 한 번 질문하고 바로 결과만 받고 싶습니다. 그럴 때는 프롬프트를 명령 뒤에 바로 붙이면 됩니다.¹

ollama run gemma3 "파이썬의 장점을 세 문장으로 설명해 줘."

이 방식은 응답을 출력한 뒤 곧바로 끝나므로 간단한 확인 작업에 잘 맞습니다. 짧은 요약, 문장 다듬기, 오류 메시지 설명 같은 일은 이 모드가 특히 빠릅니다.

대화 모드는 카페에 앉아 오래 이야기하는 느낌이고, 단일 프롬프트는 필요한 것만 빠르게 묻고 나오는 느낌입니다. 둘 다 유용하지만 쓰임새가 다릅니다.

종료를 헷갈리지 말자

처음 쓰는 사람은 대화 세션을 끝낸 뒤 "이제 모델이 완전히 꺼진 건가?" 하고 생각하기 쉽습니다. 하지만 대화 종료와 모델 언로드는 같은 일이 아닙니다.

현재 메모리에 올라와 있는 모델을 확인하려면 ollama ps를 보면 됩니다.¹³

ollama ps

메모리에서 모델을 내리고 싶다면 ollama stop 모델명을 씁니다.¹

ollama stop gemma3

또 하나, 대화를 마쳤다고 해서 모델 파일이 삭제되는 것은 아닙니다. 디스크에서 모델 자체를 지우는 명령은 ollama rm입니다. 즉, 채팅 종료, 메모리에서 내리기, 파일 삭제는 서로 다른 동작입니다.

첫 10분 실습

이 장의 내용을 가장 빨리 익히는 방법은 아래 흐름을 그대로 한 번 따라 해 보는 것입니다.

먼저 모델을 내려받습니다.

ollama pull gemma3

잘 내려받아졌는지 확인합니다.

ollama ls

이제 대화 모드로 들어갑니다.

ollama run gemma3

들어간 뒤에는 이렇게 질문해 보세요.

>>> 안녕, 너는 어떤 일을 잘해?
>>> 그 답을 두 문장으로 줄여 줘.
>>> """아래 문장을 더 자연스럽게 고쳐 줘.
... 나는 로컬에서 AI를 배우고 있다.
... """

그리고 밖으로 나온 뒤, 단일 프롬프트 모드도 한 번 써 봅니다.

ollama run gemma3 "로컬 LLM이 왜 유용한지 두 문장으로 설명해 줘."

이 흐름을 한 번만 해 보면 손이 금방 기억합니다. 처음에는 명령을 외우는 느낌이지만, 두세 번만 반복하면 거의 자동으로 입력하게 됩니다.

ollama만 입력해도 시작할 수 있다

최근 Quickstart 흐름에서는 터미널에서 ollama만 입력해도 인터랙티브 메뉴를 열 수 있습니다.² 여기서 모델 실행이나 도구 실행으로 들어갈 수 있어서, 처음 접하는 사람에게는 꽤 친절한 입구가 됩니다.

ollama

다만 이 책에서는 기본 원리를 익히기 위해 pull, run, ls, ps, stop 같은 명령을 먼저 손에 익히는 쪽을 권합니다. 메뉴는 편하지만, 원리를 알면 나중에 터미널과 API를 연결할 때 훨씬 덜 막힙니다.

이 장에서 손에 넣은 감각

이번 장의 핵심은 기능 암기가 아니라 흐름 이해입니다.

• pull은 모델을 로컬에 받아 두는 명령입니다.

• run은 모델을 실행해 대화를 시작하는 명령입니다.

• REPL은 문맥이 이어지는 터미널 대화 공간입니다.

• 모델을 받는다 → 실행한다 → 대화한다 → 필요하면 내린다가 Ollama의 가장 기본적인 사용 루프입니다.

이 루프만 익혀도 Ollama는 더 이상 낯선 도구가 아닙니다. 이제 다음 장에서는 한 걸음 더 나아가, 그래서 어떤 모델을 언제 골라야 하는가라는 현실적인 선택의 문제로 들어가 보겠습니다.

참고

¹CLI Reference - Ollama

²Quickstart - Ollama

³FAQ - Ollama