모델 선택과 관리: 어떤 모델을 언제 쓸까

좋은 사용 경험의 절반은 모델 선택에서 나온다

Ollama를 처음 써 보면 종종 이런 생각이 듭니다. "생각보다 느린데?", "답이 좀 엉뚱한데?", "내가 기대한 코딩 도우미 느낌이 아닌데?" 그런데 그 원인이 Ollama 자체보다 내 컴퓨터와 목적에 맞지 않는 모델을 고른 것인 경우가 많습니다.

Ollama에서 쓸 수 있는 모델은 꽤 다양합니다. 일반 대화용, 코딩용, 비전용, 임베딩용까지 성격이 다릅니다.¹ 그러니 좋은 결과를 얻으려면 먼저 "제일 큰 모델"을 찾기보다, 내 작업에 맞는 체급과 역할을 고르는 습관부터 들이는 편이 낫습니다.

모델 이름을 읽는 법

처음엔 모델 이름이 주문처럼 보입니다. 하지만 한 번 뜯어 보면 생각보다 단순합니다.

llama3.2:3b

여기서 보통 읽어야 할 것은 두 가지입니다.

• llama3.2는 모델 계열

• 3b는 대략적인 크기

실전에서는 여기에 용도 차이까지 함께 봐야 합니다. 예를 들어 어떤 모델은 대화에 맞고, 어떤 모델은 코딩에 더 강하고, 어떤 모델은 이미지 입력을 이해합니다. 그래서 모델 이름은 단순한 이름표가 아니라 성격표에 가깝습니다.

처음에는 세세한 태그를 다 외우려고 하지 말고, 아래 세 가지만 먼저 보면 됩니다.

• 이 모델은 얼마나 큰가

• 이 모델은 무슨 작업에 맞는가

• 내 컴퓨터가 그 크기를 감당할 수 있는가

먼저 크기로 거른다

모델 선택의 첫 필터는 취향이 아니라 하드웨어입니다. 아주 거칠게 보면 다음 감각으로 시작하면 크게 어긋나지 않습니다.

• 작은 모델은 빠르고 가볍습니다. 짧은 요약, 메일 다듬기, 가벼운 질답, 간단한 코드 설명에 잘 맞습니다.

• 중간 크기 모델은 많은 사람에게 가장 현실적인 균형점입니다. 일반 대화, 문서 요약, 초안 작성, 실용적인 코딩 작업이 꽤 안정적입니다.

• 큰 모델은 품질 기대치가 높아지지만, 속도와 메모리 대가도 커집니다. 장비가 받쳐 주지 않으면 만족도가 오히려 떨어질 수 있습니다.

쉽게 비유하면 이렇습니다. 작은 모델은 동네 전기자전거이고, 중간 모델은 일상용 세단이며, 큰 모델은 캠핑카에 가깝습니다. 멋있어 보여도 매일 쓰기 편한 것은 따로 있습니다.

그다음 목적에 맞춘다

크기를 골랐다면 이제 역할을 맞춰야 합니다. 여기서 가장 중요한 질문은 "이 모델이 똑똑한가?"보다 "내가 하려는 일에 맞는가?" 입니다.

일반 대화와 문서 작업

설명, 초안 작성, 요약, 번역, 일반 질답이 목적이라면 범용 대화 모델이 잘 맞습니다. 이런 모델은 균형형이라서 가장 먼저 손에 익히기 좋습니다.¹

코딩 작업

코드 생성, 리팩터링, 오류 설명, 테스트 초안 작성이 많다면 코딩 성향이 강한 모델이 유리합니다. 일반 모델도 코드를 다루긴 하지만, 코드 전용에 가까운 모델은 함수 구조나 수정 방향 제안에서 더 안정적인 경우가 많습니다.

비전 작업

이미지, 스크린샷, 차트, 문서 사진을 읽히고 싶다면 반드시 비전 지원 모델이어야 합니다. 모든 모델이 이미지를 이해하는 것은 아닙니다. 이름만 보고 기대하지 말고, 해당 모델이 비전을 지원하는지 먼저 확인하는 습관이 좋습니다.⁴

임베딩 작업

검색, RAG, 문서 유사도 계산용이라면 채팅 모델이 아니라 임베딩 모델을 써야 합니다. 이건 말을 잘하는 모델이 아니라, 텍스트를 숫자 벡터로 바꾸는 모델입니다.⁵

한국어는 직접 비교하는 편이 가장 정확하다

한국어 성능은 숫자 하나로 끝나지 않습니다. 자연스러운 문장, 높임말 처리, 영어 용어와 한국어 설명을 섞어 쓰는 감각, 코드와 설명의 연결감까지 함께 봐야 합니다.

그래서 한국어는 벤치마크 표보다 후보 두세 개를 같은 프롬프트로 직접 비교하는 편이 현실적입니다. 예를 들어 아래 같은 질문을 같은 모델들에 던져 보면 금방 차이가 드러납니다.

• 같은 질문을 했을 때 문장이 지나치게 번역투로 들리지 않는가

• 코드 조각과 한국어 설명을 함께 넣었을 때 흐름이 자연스러운가

• 말투를 바꾸라고 했을 때 형식과 높임말을 안정적으로 지키는가

이 테스트는 10분이면 끝나지만, 그 10분이 앞으로의 한 달을 편하게 만들어 줍니다.

모델을 관리하는 핵심 명령

이제부터는 모델을 "고르는 것"에서 "돌보고 정리하는 것"으로 넘어가 보겠습니다. 여기서 자주 쓰는 명령은 많지 않습니다.²

• ollama pull 모델명은 모델을 내려받습니다.

• ollama ls는 디스크에 저장된 모델 목록을 보여 줍니다.

• ollama ps는 현재 메모리에 올라와 있는 모델을 보여 줍니다.

• ollama stop 모델명은 실행 중인 모델을 메모리에서 내립니다.

• ollama rm 모델명은 디스크에서 모델을 삭제합니다.

자주 쓰는 흐름은 대개 이 정도입니다.

ollama pull gemma3
ollama ls
ollama run gemma3
ollama ps
ollama stop gemma3
ollama rm gemma3

명령이 많아 보이지 않지만, 이 정도만 익혀도 저장공간과 메모리를 훨씬 점잖게 다룰 수 있습니다.

ls와 ps를 구분하면 덜 헷갈린다

초보자는 이 둘을 자주 헷갈립니다.

• ollama ls는 설치된 모델 목록입니다.

• ollama ps는 지금 메모리에 올라온 모델 목록입니다.

쉽게 말하면 ls는 창고 목록이고, ps는 지금 책상 위에 꺼내 둔 것들입니다. 모델이 설치되어 있다고 해서 항상 메모리에 올라와 있는 것은 아닙니다. 반대로 메모리에 올라와 있다는 건 지금 속도나 자원 사용에 직접 영향을 주고 있다는 뜻입니다.

Python에서도 관리 명령을 쓸 수 있다

코드로 운영 점검을 하고 싶다면 Python 라이브러리에서도 비슷한 작업을 할 수 있습니다. 공식 라이브러리는 list(), show(), pull(), delete(), ps() 같은 함수를 제공합니다.³

import ollama

models = ollama.list()
for model in models['models']:
    print(model['name'])

이런 코드는 앱 시작 시 필요한 모델이 있는지 점검하거나, 배치 스크립트에서 환경을 확인할 때 꽤 유용합니다.

처음 세팅할 때는 단순하게 가자

처음부터 모델 열 개를 모을 필요는 없습니다. 오히려 너무 많이 받으면 비교만 하다가 지칩니다. 처음 세팅은 보통 아래 정도면 충분합니다.

• 가벼운 메인 모델 하나: 빠르게 질문하고 초안 쓰는 용도

• 전문 모델 하나: 코딩이나 비전처럼 특정 작업용

• 필요할 때만 큰 모델: 정말 더 높은 품질이 필요할 때

핵심은 한 문장으로 정리됩니다.

하나의 만능 모델, 하나의 전문 모델, 그리고 정말 필요할 때만 큰 모델.

이 구성이 가장 덜 지치고, 가장 오래 갑니다.

모델 선택은 취향이 아니라 운영이다

좋은 로컬 LLM 경험은 우연히 오지 않습니다. 내 하드웨어에서 너무 무거운 모델을 억지로 돌리지 않고, 코딩에는 코딩 성향 모델을 붙이고, 이미지에는 비전 모델을 쓰고, 안 쓰는 모델은 정리하는 습관에서 나옵니다.

결국 Ollama에서 실력이 느는 사람은 명령어를 많이 외운 사람이 아니라, 모델의 체급과 역할을 읽고 필요한 순간에 필요한 모델을 꺼내 쓸 줄 아는 사람입니다.

마무리

모델 선택은 한 번 하고 끝나는 일이 아닙니다. 내 장비, 내 작업, 내 취향에 맞는 조합을 찾아가는 과정에 가깝습니다. 처음에는 작고 무난한 모델로 시작하고, 그다음 목적별 전문 모델을 붙이고, 정말 필요한 경우에만 더 큰 모델로 올라가는 편이 현실적입니다.

좋은 선택의 기준은 단순합니다. 내 컴퓨터에서 빠르게 돌아가고, 내가 자주 하는 일에 잘 맞고, 관리하기 부담스럽지 않은가. 이 세 가지가 맞으면 그 모델은 이미 좋은 선택입니다.

참고

¹Ollama's documentation - Ollama

²CLI Reference - Ollama

³GitHub - ollama/ollama-python: Ollama Python library

⁴Vision - Ollama

⁵Embeddings - Ollama