설치 전에 준비할 것: 운영체제·메모리·GPU·저장공간 점검

설치보다 먼저 확인할 것

Ollama 설치 자체는 생각보다 간단합니다. 문제는 설치가 아니라, 설치한 뒤에 어떤 모델을 얼마나 무리 없이 돌릴 수 있느냐입니다. 터미널 명령 한 줄은 금방 따라 할 수 있지만, 내 노트북이 작은 모델까지만 편하게 감당하는지, 아니면 더 큰 모델도 실사용 가능한지는 전혀 다른 문제입니다.

특히 로컬 LLM에서는 "앱이 가볍다"와 "모델이 가볍다"가 완전히 같은 뜻이 아닙니다. Ollama 프로그램은 비교적 단순하지만, 실제로 메모리와 저장공간을 많이 쓰는 쪽은 모델입니다. 그래서 설치 전에 운영체제, 메모리, GPU, 저장공간을 한 번만 차분히 점검해 두면 이후 시행착오가 크게 줄어듭니다.

이 장의 목표는 딱 하나입니다. 내 컴퓨터가 어느 정도 급의 모델까지 현실적으로 감당할 수 있는지 감을 잡는 것입니다.

운영체제: 설치 가능 여부부터 확인하자

Ollama는 macOS, Windows, Linux를 지원합니다. 다만 "지원한다"와 "내 환경에서 편하게 쓸 수 있다"는 또 다른 이야기입니다. 먼저 운영체제 버전과 CPU 아키텍처부터 확인하는 습관이 중요합니다.

macOS는 공식 문서 기준이 비교적 분명합니다. macOS Sonoma 14 이상이 필요하고, Apple M 시리즈는 CPU와 GPU 가속을 함께 활용할 수 있으며, x86 맥은 CPU 전용 실행으로 보는 편이 안전합니다.¹ 즉, Intel Mac에서도 아예 못 쓰는 것은 아니지만, 체감 성능 기대치는 Apple Silicon과 다르게 잡는 편이 좋습니다.

Windows는 최신 64비트 환경을 기준으로 생각하면 됩니다. 실제 사용에서는 운영체제 자체보다도 GPU 드라이버와 가속 스택이 제대로 준비되어 있는지가 더 중요합니다. NVIDIA와 AMD 지원 범위도 드라이버와 하드웨어 조합에 영향을 크게 받습니다.²

Linux는 가장 유연하지만, 확인할 것도 가장 많습니다. 공식 문서는 설치 스크립트와 수동 설치 방법, systemd 서비스 등록 방법을 모두 제공하고, AMD GPU를 쓸 때는 추가 ROCm 패키지도 따로 안내합니다.³ 서버처럼 계속 켜 두는 환경에는 특히 잘 맞지만, 처음에는 배포판 이름보다 드라이버와 권한 설정이 더 중요합니다.

운영체제를 점검할 때는 아래 네 가지만 먼저 보면 됩니다.

• 운영체제 버전이 너무 오래되지 않았는가

• 64비트 환경인가

• CPU가 amd64인지 arm64인지 확인했는가

• GPU를 쓸 계획이라면 드라이버가 준비되어 있는가

여기서 막히면 설치 중간에 발이 걸립니다. 반대로 이 단계만 통과하면 뒤 과정은 훨씬 단순해집니다.

메모리: 가장 먼저 부족해지는 자원

로컬 LLM에서 가장 흔한 병목은 CPU보다 메모리입니다. 모델을 올리고, 대화 문맥을 유지하고, 운영체제와 브라우저와 IDE까지 함께 돌아가야 하기 때문입니다. "실행은 됐는데 컴퓨터 전체가 굼떠졌다"는 상황은 대개 메모리 압박에서 시작합니다.

아주 거칠게 보면 8GB는 체험용, 16GB는 본격적인 시작선, 32GB는 제법 여유가 생기는 구간이라고 생각하면 이해가 쉽습니다. 물론 이 수치는 절대 기준이 아닙니다. 모델 크기, 양자화 수준, 컨텍스트 길이, 함께 켜 둔 앱 수에 따라 체감은 얼마든지 달라집니다.

맥 사용자라면 한 가지를 더 기억하면 좋습니다. Apple Silicon은 CPU와 GPU가 통합 메모리를 공유합니다. 그래서 전용 VRAM을 따로 보는 PC와 감각이 조금 다릅니다. 다만 그렇다고 메모리가 마법처럼 늘어나는 것은 아닙니다. 운영체제와 다른 앱도 같은 메모리를 함께 쓰므로, 통합 메모리가 넉넉할수록 여전히 훨씬 편합니다.¹

정리하면, 처음 시작하는 대부분의 독자에게는 16GB가 가장 현실적인 기준선입니다. 8GB면 체험은 가능하지만, 계속 써 보고 싶다면 한 단계 더 여유 있는 환경이 훨씬 덜 답답합니다.

GPU: 있으면 체감이 크게 달라진다

Ollama는 CPU만으로도 실행할 수 있습니다. 이 말은 사실입니다. 하지만 체감 성능까지 좋다는 뜻은 아닙니다. 작은 모델은 CPU만으로도 시험해 볼 수 있지만, 모델이 커질수록 GPU 유무가 응답 속도를 크게 바꿉니다.

핵심은 GPU의 이름보다 실제로 활용 가능한 메모리와 지원 여부입니다. 특히 NVIDIA는 공식 문서 기준으로 compute capability 5.0 이상과 드라이버 531 이상을 지원 기준으로 제시합니다.² AMD는 Linux에서 ROCm v7 드라이버가 필요하고, Windows는 ROCm v6.1 기준 지원 카드 범위가 따로 있습니다.² Apple 기기는 Metal을 통해 GPU 가속을 사용합니다.²

실전에서는 대략 이런 감각으로 보면 편합니다.

다만 여기에는 함정이 하나 있습니다. 같은 8B 모델이라도 양자화 수준이 다르면 필요한 메모리가 달라지고, 컨텍스트 길이를 늘리면 메모리 사용량이 더 올라갑니다. 그러니 GPU를 볼 때는 "몇 GB냐"만 보지 말고 "어떤 모델을 어떤 문맥 길이로 쓸 건가"를 같이 생각해야 합니다.

쉽게 말해, GPU는 엔진이고 메모리는 짐칸입니다. 엔진이 좋아도 짐칸이 너무 작으면 결국 불편해집니다.

저장공간: 설치 파일보다 모델이 훨씬 크다

저장공간은 가장 늦게 생각하기 쉽지만, 실제로는 꽤 중요합니다. 가장 흔한 실수 중 하나가 "앱은 금방 들어갔는데 모델 몇 개 받고 나니 SSD가 갑자기 비좁아졌다"는 상황입니다.

공식 macOS 문서도 모델 저장공간이 수십 GB에서 많게는 수백 GB까지 커질 수 있다고 안내합니다.¹ 기본적으로 모델은 사용자 홈 디렉터리 아래에 저장되며, 필요하면 저장 위치를 바꿀 수도 있습니다.¹

초보자라면 대략 이렇게 잡으면 편합니다.

• 체험만 해볼 경우: 최소 20GB 여유

• 7B급 모델 몇 개를 번갈아 쓸 경우: 50GB 이상 권장

• 모델을 비교하며 이것저것 모아둘 경우: 100GB 이상이면 마음이 편함

• 더 큰 모델까지 다뤄볼 경우: 별도 SSD를 고민할 만함

또 한 가지, 저장공간은 양만이 아니라 속도도 중요합니다. SSD, 가능하면 NVMe SSD가 유리합니다. 모델을 처음 불러올 때나 여러 모델을 바꿔 가며 쓸 때 체감이 납니다. 하드디스크로도 아예 불가능한 것은 아니지만, 전체 사용감은 더 답답해지기 쉽습니다.

컨텍스트 길이: 같은 모델도 더 무거워질 수 있다

많은 입문자가 놓치는 부분이 하나 있습니다. 같은 모델이라도 컨텍스트 길이, 즉 한 번에 얼마나 긴 대화와 문서를 기억하게 할지에 따라 메모리 사용량이 달라집니다. 쉽게 말해, 모델 자체의 크기뿐 아니라 얼마나 많은 내용을 한꺼번에 붙잡아 둘지도 부담을 키웁니다.

짧은 채팅만 할 때는 별문제가 없지만, 긴 문서를 통째로 넣거나 대화를 오래 끌고 가면 메모리 사용량이 눈에 띄게 늘 수 있습니다. 그래서 8B 모델이 잘 돌던 PC도 컨텍스트를 크게 늘리는 순간 갑자기 버벅일 수 있습니다.

즉, 내 컴퓨터가 감당할 수 있는 것은 단순히 "모델 크기"만이 아니라 모델 크기 × 컨텍스트 길이의 조합입니다. 같은 8B라도 짧게 쓰면 쾌적하고, 길게 쓰면 무거워질 수 있습니다. 이 차이를 이해하면 왜 어떤 날은 빠르고 어떤 날은 갑자기 느린지 훨씬 잘 보입니다.

내 컴퓨터로 어디까지 가능할까

이제 가장 궁금한 질문으로 돌아가 보겠습니다. "그래서 내 컴퓨터로 뭘 돌릴 수 있지?" 완벽한 정답은 없지만, 아래 정도면 시작점으로 꽤 현실적입니다.

여기서 중요한 원칙은 하나입니다. 처음에는 내 장비보다 한 단계 작은 모델로 시작하는 편이 훨씬 낫다는 점입니다. 모델 크기를 줄이면 손해 보는 것 같지만, 실제로는 속도와 안정성이 좋아져 전체 만족도가 더 올라가는 경우가 많습니다. 일상 작업에서는 느린 똑똑함보다 빠른 적당함이 더 유용할 때가 많습니다.

운영체제별 점검 포인트

macOS

맥에서는 Apple Silicon 여부가 가장 중요합니다. M 시리즈 칩이면 공식 문서 기준으로 CPU와 GPU 지원을 함께 활용할 수 있어 시작이 편합니다. 반면 Intel Mac은 CPU 중심 사용을 염두에 두는 편이 좋습니다. 그리고 설치 직전에는 macOS Sonoma 14 이상인지 꼭 확인하는 편이 안전합니다.¹

Windows

윈도우에서는 그래픽 드라이버 상태를 먼저 확인하는 편이 좋습니다. NVIDIA나 AMD GPU가 있어도 드라이버와 지원 스택이 맞지 않으면 기대만큼 가속이 안 될 수 있습니다. 설치 자체보다 "정말 GPU를 활용하는가"가 더 중요합니다.²

Linux

리눅스는 서버처럼 운용하기 좋지만, 패키지와 권한을 더 꼼꼼히 봐야 합니다. 공식 설치 스크립트로 시작할 수 있고, 계속 사용할 환경이라면 systemd 서비스 등록도 권장됩니다.³ AMD를 쓰면 추가 ROCm 패키지가 필요할 수 있고, 환경에 따라 권한 설정도 확인해야 합니다.²³

설치 전에 해두면 좋은 체크리스트

아래 항목을 모두 확인했다면, 다음 장의 설치 과정은 훨씬 매끄럽습니다.

• 운영체제 버전과 CPU 아키텍처를 확인했다.

• 남은 메모리와 저장공간을 확인했다.

• GPU 모델과 드라이버 상태를 확인했다.

• 처음 돌릴 모델 크기를 정했다.

• 모델을 기본 위치에 둘지, 별도 SSD로 옮길지 감을 잡았다.

• 브라우저 탭과 무거운 앱을 줄였을 때 얼마나 여유가 생기는지도 대략 파악했다.

특히 마지막 항목이 은근히 중요합니다. 로컬 LLM은 새 컴퓨터를 사는 문제이기도 하지만, 지금 쓰는 컴퓨터를 조금 덜 복잡하게 쓰는 문제이기도 합니다.

너무 큰 모델부터 시작하지 말자

처음 Ollama를 접하면 누구나 큰 모델 이름에 눈이 갑니다. 32B, 70B 같은 숫자가 더 멋져 보이기 때문입니다. 하지만 로컬 환경에서는 "멋진 숫자"보다 내 장비에 맞는 숫자가 훨씬 중요합니다.

시작은 작게, 체감은 크게 가져가는 편이 좋습니다. 내 컴퓨터가 7B를 아주 경쾌하게 돌린다면, 그것은 이미 훌륭한 출발입니다. 반대로 30B를 겨우 띄워서 한 줄 대답을 오래 기다려야 한다면, 로컬 AI의 장점이 반쯤 사라집니다.

다음 장에서는 이제 실제로 Ollama를 설치하고, 첫 실행이 되는지 확인해 보겠습니다. 그때 중요한 건 설치 명령어를 외우는 일이 아니라, 바로 지금 정한 내 장비에 맞는 첫 모델을 고르는 일입니다.

참고

¹macOS - Ollama

²Hardware support - Ollama

³Linux - Ollama