5. 내 컴퓨터에서 LLM이 돌아가려면

지난 장에서 우리는 로컬 LLM을 모델, 런타임, 인터페이스로 나누어 보았습니다. 이제 지도를 펼쳐봤으니, 이번에는 진짜 길 상태를 확인할 차례입니다.

아무리 좋은 모델이라도 내 컴퓨터의 메모리와 연산 자원이 받쳐 주지 못하면, 실행이 안 되거나, 실행은 되더라도 답이 한참 뒤에 나오거나, 아예 중간에 멈춰 버릴 수 있습니다. 초보자가 가장 많이 하는 실수도 여기서 나옵니다. 이름이 유명한 큰 모델부터 덥석 내려받았다가, 다운로드는 끝났는데 실행은 실패하는 경우입니다.

이 장의 목표는 단순합니다. 내 장비에서 어디까지 가능한지 감을 잡는 것, 그리고 처음부터 무리한 모델을 고르지 않는 것입니다.

먼저 알아둘 것: "돌아간다"와 "쓸 만하다"는 다르다

로컬 LLM을 처음 접하면 이런 말을 자주 듣습니다.

"그 모델, 내 컴퓨터에서도 돌아가요?"

그런데 이 질문에는 사실 두 가지 뜻이 섞여 있습니다.

첫째는 실행 자체가 가능하냐는 뜻입니다. 둘째는 실제로 대화할 만한 속도가 나오느냐는 뜻입니다.

예를 들어 어떤 모델이 CPU와 RAM까지 총동원해서 간신히 뜬다고 해도, 답이 한 줄 나오는데 30초씩 걸리면 실사용은 꽤 답답합니다. 반대로 모델이 GPU 메모리에 넉넉하게 올라가면, 같은 질문에도 훨씬 자연스럽게 답이 흘러나옵니다.

그래서 로컬 LLM에서는 "실행 가능"보다 어디에 올려서 실행하느냐가 더 중요합니다. 가능하면 GPU 메모리 안에, 그것도 약간의 여유를 두고 들어가는 구성이 가장 편합니다.¹

LLM 실행에 필요한 여섯 가지 자원

내 컴퓨터에서 LLM이 돌아가려면 결국 아래 여섯 가지를 봐야 합니다.

• RAM: 컴퓨터의 주 메모리입니다. 운영체제와 프로그램, 그리고 CPU 쪽 작업이 주로 사용합니다.

• VRAM: GPU 안에 있는 전용 메모리입니다. 모델이 여기에 올라가면 훨씬 빠르게 돌아갑니다.

• CPU: 범용 계산 장치입니다. GPU가 없어도 LLM을 돌릴 수 있게 해 주지만, 보통은 느립니다.

• GPU: 대량의 계산을 병렬로 처리하는 데 강합니다. 로컬 LLM의 체감 속도를 크게 좌우합니다.

• 저장공간: 모델 파일을 내려받아 보관하는 공간입니다. 생각보다 금방 부족해집니다.

• 운영체제: Windows, macOS, Linux마다 설치 편의성, 드라이버, GPU 활용 방식이 조금씩 다릅니다.⁵

이 여섯 가지 중에서 초보자가 가장 먼저 봐야 할 것은 대개 VRAM, 그다음이 RAM, 그리고 운영체제와 GPU 지원 상태입니다.

RAM과 VRAM: 가장 많이 헷갈리는 두 주인공

초보자에게 가장 중요한 한 문장을 먼저 말하겠습니다.

로컬 LLM은 보통 RAM보다 VRAM이 더 중요합니다.

RAM은 책상 전체이고, VRAM은 셰프가 바로 손 닿는 조리대라고 생각하면 됩니다. 재료가 조리대 위에 있으면 요리가 빠르지만, 창고에서 계속 가져와야 하면 느려집니다. LLM도 비슷합니다. 모델이 VRAM에 통째로 올라가면 빠르고, 일부가 RAM으로 밀려나면 속도가 크게 떨어집니다.³

아주 거칠지만 유용한 계산법

초보자가 가장 쉽게 쓰는 대략식은 이것입니다.

Q4급 양자화 기준 필요 메모리 ≈ 파라미터 수(B) × 0.5GB¹³

이 식은 아주 정확한 계산기는 아니지만, 시작점으로는 꽤 쓸 만합니다. 예를 들면 대략 이렇게 감을 잡을 수 있습니다.

• 7B 모델 → 약 4~5GB

• 14B 모델 → 약 8~10GB

• 32B 모델 → 약 16~20GB

• 70B 모델 → 약 35~40GB¹²³

여기서 중요한 점이 하나 있습니다. 이 숫자는 대개 모델 가중치 자체의 크기를 중심으로 본 값입니다. 실제 실행 때는 여기에 대화 기록을 담는 KV 캐시와 런타임 여유 공간까지 더 들어갑니다. 그래서 딱 맞게 고르면 실패할 가능성이 높습니다. 항상 1~2GB 정도의 안전 여유를 남겨 두는 편이 좋습니다.¹⁶

긴 대화는 메모리를 더 먹는다

처음에는 "모델 파일 크기만 맞으면 되는 것 아닌가요?"라고 생각하기 쉽습니다. 그런데 실제로는 대화가 길어질수록 추가 메모리가 필요합니다. 이유는 앞 장에서 본 KV 캐시 때문입니다.

초보자 입장에서는 이렇게 기억하면 충분합니다.

• 기본 짧은 대화는 상대적으로 부담이 적다.

• 긴 문서 요약이나 긴 채팅 기록을 유지할수록 메모리가 더 든다.

• 특히 32K 같은 긴 컨텍스트는 생각보다 훨씬 무겁다.¹²

실무 가이드에서는 흔히 8K 컨텍스트면 모델 가중치 대비 약 25% 정도 추가 여유, 32K 컨텍스트면 거의 모델 크기만큼 추가 여유를 잡으라고 조언합니다.² 그러니 처음에는 괜히 긴 컨텍스트를 욕심내지 않는 편이 안전합니다.

이름에 속지 말자: "작동 파라미터"와 "전체 크기"는 다를 수 있다

요즘 모델 이름에는 가끔 A3B 같은 표기가 붙습니다. 이때 초보자는 "아, 3B급이면 가볍겠네?"라고 오해하기 쉽습니다.

하지만 메모리 관점에서는 실제로 메모리에 올라가야 하는 전체 가중치 크기가 중요합니다. 일부 MoE 모델은 계산할 때는 적은 전문가만 활성화되더라도, 실행하려면 전체 전문가 가중치를 메모리에 올려야 하는 경우가 많습니다. 즉, 이름만 보고 가볍다고 판단하면 낭패를 볼 수 있습니다.¹

CPU와 GPU: 누가 일을 더 빨리 할까

이제 연산 장치를 보겠습니다.

CPU만으로도 로컬 LLM은 실행할 수 있습니다. 실제로 작은 모델은 CPU-only 환경에서도 충분히 시험해 볼 수 있습니다. 다만 CPU는 범용 작업에는 강하지만, LLM처럼 엄청난 양의 행렬 계산을 반복하는 일에는 GPU보다 훨씬 불리한 경우가 많습니다.⁴

GPU는 이런 반복 계산을 병렬로 처리하는 데 특화되어 있습니다. 그래서 로컬 LLM에서는 대개 다음과 같은 체감 차이가 납니다.

• CPU-only: 실행은 되지만 답이 천천히 나온다.

• GPU 사용: 답이 훨씬 자연스럽게 흘러나온다.

• 일부만 GPU, 일부는 CPU: 돌아가긴 하지만 중간 정도 혹은 답답한 속도가 된다.

초보자에게는 이렇게 정리하는 것이 가장 쉽습니다.

CPU는 "돌릴 수 있게 해 주는 장치", GPU는 "쓸 만하게 만들어 주는 장치"에 가깝다.

물론 예외는 있습니다. 아주 작은 모델을 가볍게 테스트하는 정도라면 CPU-only도 괜찮습니다. 하지만 채팅, 코드 보조, 문서 요약처럼 자주 쓸 계획이라면 GPU가 있는 쪽이 훨씬 만족도가 높습니다. 여러 하드웨어 가이드도 공통적으로 GPU 선택이 CPU보다 훨씬 중요하다고 봅니다.³⁴

저장공간: 다운로드는 되는데 디스크가 먼저 울 수 있다

초보자는 메모리만 보다가 저장공간을 놓치기 쉽습니다. 그런데 모델 파일은 생각보다 큽니다.

7B급 양자화 모델은 대략 몇 GB 수준이지만, 32B나 70B로 가면 파일 하나가 수십 GB가 되기도 합니다. 여러 모델을 비교하려고 이것저것 받아 두면 저장공간이 순식간에 줄어듭니다.³

또한 저장장치의 종류도 은근히 중요합니다. NVMe SSD는 모델을 불러오는 시간이 짧고, SATA SSD는 그보다 느리며, HDD는 많이 답답할 수 있습니다.³ 답변의 질이 달라지는 것은 아니지만, 모델 전환이나 첫 로딩 경험이 꽤 달라집니다.

초보자라면 최소한 이렇게 생각하면 됩니다.

• 모델 하나만 쓸 게 아니라면 여유 저장공간 100GB 이상은 금방 필요해질 수 있다.

• 여러 모델을 비교할 생각이라면 500GB~1TB SSD가 훨씬 마음 편하다.

• 특히 실습을 따라 하다 보면 "지웠다가 다시 받기"를 자주 하게 된다.

즉, 저장공간은 조용하지만 꾸준히 돈을 요구하는 조력자입니다.

운영체제 차이: Windows, macOS, Linux는 느낌이 다르다

로컬 LLM은 Windows, macOS, Linux에서 모두 가능하지만, 체감은 조금씩 다릅니다.⁵

Windows

Windows는 시작 장벽이 낮고 익숙하다는 장점이 있습니다. 설치형 프로그램도 많고, 초보자 입장에서는 접근하기 쉽습니다. 다만 GPU 드라이버, Docker, WSL2, 보안 설정 같은 요소가 얽히면 생각보다 손이 많이 갈 수 있습니다. NVIDIA 환경은 비교적 수월한 편이지만, 일부 Intel 또는 AMD 환경은 추가 설정이 필요한 경우도 있습니다.⁵

macOS, 특히 Apple Silicon

Apple Silicon 맥은 조금 특별합니다. 전통적인 의미의 "독립 VRAM" 대신 통합 메모리를 사용합니다. CPU와 GPU가 같은 메모리 풀을 공유하므로, 별도 VRAM 숫자만 보고 판단하는 방식과는 조금 다릅니다. 이 구조 덕분에 메모리 총량이 충분하면 꽤 큰 모델도 로드할 수 있어, 맥북이 생각보다 강하다는 이야기가 자주 나옵니다.¹

다만 통합 메모리가 크다고 해서 무조건 빠른 것은 아닙니다. 얼마나 빠르게 생성하느냐는 또 다른 문제입니다. 즉, 맥은 "생각보다 잘 들어간다"가 강점이고, NVIDIA 데스크톱 GPU는 "생각보다 빠르다"가 강점이라고 이해하면 쉽습니다.

Linux

Linux는 가장 유연하고, GPU 드라이버와 서버 운영, Docker 환경까지 포함해 로컬 AI에 잘 어울리는 경우가 많습니다. 특히 오래 켜 두는 머신이나 미니 서버, 워크스테이션에는 매우 잘 맞습니다. 대신 초보자에게는 초반 설정이 조금 낯설 수 있습니다.⁵

한 줄로 요약하면 이렇습니다.

• 익숙함은 Windows

• 통합 메모리의 매력은 Apple Silicon 맥

• 유연성과 확장성은 Linux

내 장비로 어느 정도까지 가능할까

이제 가장 궁금한 질문으로 가 보겠습니다.

"그래서 내 컴퓨터로 어느 정도 모델까지 가능하죠?"

초보자에게는 아래 표 정도가 가장 현실적인 출발점입니다. 이것은 절대적인 법칙이 아니라, 처음 실패를 줄이기 위한 안전한 기준입니다.

이 표에서 특히 기억할 점은 두 가지입니다.

첫째, 24GB VRAM이라고 해서 70B 모델이 여유롭게 들어가는 것은 아닙니다. Q4 기준 70B는 보통 35~40GB 수준이므로, 단일 24GB GPU에 완전히 올리기 어렵습니다.¹²³

둘째, 16GB VRAM은 생각보다 좋은 균형점입니다. 14B급을 품질 좋게 돌리거나, 20B대 모델을 현실적으로 시도해 볼 수 있는 구간이라서 초보자가 체감 만족을 얻기 좋습니다.²⁴

초보자용 판단 공식: 다운로드 전에 이것만 확인하자

모델을 받기 전에 아래 순서대로만 확인해도 실패 확률이 크게 줄어듭니다.

• 1단계: 내 GPU VRAM부터 확인한다. 노트북은 특히 주의합니다. 이름이 비슷해도 데스크톱판과 VRAM이 다를 수 있습니다.

• 2단계: 모델의 파라미터 수가 아니라 실제 양자화 크기를 본다. Q4인지, Q5인지, Q8인지 확인합니다.

• 3단계: 계산한 크기에 1~2GB 안전 여유를 더한다. 딱 맞으면 실패할 가능성이 큽니다.⁶

• 4단계: 긴 컨텍스트를 바로 켜지 않는다. 처음에는 기본값이나 짧은 값으로 시작합니다.²

• 5단계: 조금 애매하면 한 단계 작은 모델을 고른다. 초보자에게는 "큰 모델 한 번 실패"보다 "작은 모델 한 번 성공"이 훨씬 중요합니다.

이 다섯 줄은 정말 중요합니다. 로컬 LLM 초보자의 시간 대부분은 사실 "무리한 첫 선택"에서 사라집니다.

초보자가 자주 하는 착각

하드웨어를 볼 때 특히 많이 나오는 착각도 정리해 두겠습니다.

"RAM이 32GB니까 큰 모델도 되겠네?"

RAM이 많으면 좋지만, 속도는 별개입니다. GPU 없이 RAM만 많은 경우, 큰 모델이 간신히 실행될 수는 있어도 쾌적하지 않을 수 있습니다.³⁴

"모델 파일이 8GB니까 8GB VRAM이면 되겠네?"

그렇게 단순하지 않습니다. 실행 중에는 KV 캐시와 런타임 메모리까지 필요합니다. 딱 맞는 구성은 위험합니다.¹⁶

"노트북 GPU도 4090이면 데스크톱 4090과 비슷하겠지?"

이름이 같아도 VRAM, 전력, 성능이 다를 수 있습니다. 특히 로컬 LLM에서는 이름보다 실제 VRAM 용량이 훨씬 중요합니다.²

"컨텍스트는 무조건 크게 잡는 게 좋다"

길면 좋을 때도 있지만, 메모리 사용량이 늘고 성능이 떨어질 수 있습니다. 초보자는 기본값으로 충분한 경우가 많습니다.¹²

"큰 모델이 항상 더 만족스럽다"

그렇지 않습니다. 32B가 CPU 오프로딩으로 끙끙대는 환경보다, 7B~14B가 GPU 안에서 시원하게 도는 환경이 더 만족스러운 경우가 많습니다. 로컬 LLM은 벤치마크보다 체감 사용성이 중요합니다.

그래서 처음엔 무엇을 목표로 잡아야 할까

초보자라면 처음부터 "내 장비의 최대치"를 노리지 않는 것이 좋습니다. 최대치는 성공해도 불안정하고, 실패하면 바로 흥미를 잃기 쉽습니다.

오히려 이렇게 접근하는 편이 좋습니다.

• CPU-only라면: 1B~3B급으로 시작한다.

• 8GB VRAM이라면: 7B~8B Q4급을 먼저 본다.

• 12GB VRAM이라면: 14B Q4를 현실적인 상한선으로 본다.

• 16GB VRAM이라면: 14B를 품질 좋게, 20B~24B를 도전 구간으로 본다.

• 24GB VRAM이라면: 32B급을 좋은 목표로 잡고, 70B는 다음 단계로 미룬다.²³

이 기준이 좋은 이유는 단순합니다. 처음에는 "세상에서 제일 큰 모델"보다 잘 실행되고, 자주 써 보고, 설정을 이해할 수 있는 모델이 더 중요하기 때문입니다.

다음 장으로 이어지는 힌트: 왜 작은 모델도 가능할까

여기까지 읽었다면 자연스럽게 이런 궁금증이 생길 겁니다.

"그런데 원래 이렇게 큰 모델들이, 어떻게 내 노트북이나 데스크톱에서 돌아가는 거지?"

그 비밀의 핵심이 바로 양자화와 경량화입니다. 같은 모델도 숫자를 어떻게 압축하느냐에 따라 크기와 속도가 크게 달라집니다. 그래서 로컬 LLM 세계에서는 모델 이름만큼이나 Q4, Q5, Q8 같은 표기가 중요합니다.¹

이번 장에서 우리는 "내 컴퓨터가 얼마나 버틸 수 있는지"를 봤다면, 다음 장에서는 "모델이 어떻게 작아질 수 있는지"를 보게 됩니다. 그 원리를 이해하면, 이후에 모델을 고를 때 훨씬 자신감이 생깁니다.

이 장의 핵심 정리

내 컴퓨터에서 LLM이 돌아가려면 결국 메모리와 연산 자원이 맞아야 합니다. 그중에서도 초보자는 먼저 VRAM, 그다음에 RAM, 그리고 운영체제와 GPU 지원 상태를 확인해야 합니다.

Q4 기준으로는 대략 파라미터 수(B) × 0.5GB 정도를 시작점으로 볼 수 있지만, 실제로는 KV 캐시와 런타임 여유 공간이 더 필요하므로 항상 안전 여유를 남겨야 합니다.¹³

무엇보다 중요한 사실은 이것입니다.

큰 모델을 겨우 돌리는 것보다, 내 장비에서 편하게 도는 모델을 고르는 것이 초보자에게는 훨씬 낫다.

로컬 LLM은 무거운 모델을 자랑하는 게임이 아니라, 내 장비와 모델의 균형을 찾는 과정에 더 가깝습니다. 그 균형을 잡을 줄 알면, 이후 실습도 훨씬 즐거워집니다.

참고

¹How to Calculate Hardware Requirements for Running LLMs Locally

²Best GPU per VRAM Tier

³LLM Hardware Guide  GPU, RAM & Storage Requirements 2025

⁴Running Open Source LLMs Locally: Complete Hardware and Setup Guide 2026

⁵How to Run LLMs Locally with Ollama in 11 Steps  2026

⁶LLM VRAM & RAM Calculator  AI/ML Memory Estimator