6. 작은 모델이 가능한 이유: 양자화와 경량화

지난 장에서는 내 컴퓨터에서 LLM이 돌아가려면 결국 메모리와 연산 자원이 중요하다는 사실을 보았습니다. 그런데 여기서 자연스럽게 이런 질문이 생깁니다.

"원래 엄청 큰 모델이라면서, 어떻게 내 노트북이나 데스크톱에서도 돌아갈 수 있지?"

이 질문의 중심에는 로컬 LLM 세계의 핵심 마법이 하나 있습니다. 바로 양자화입니다. 그리고 그 양자화를 담아 실제로 편하게 배포하고 실행하게 도와주는 형식 중 하나가 GGUF입니다.

이번 장에서는 "모델을 작게 만든다"는 말이 정확히 무엇을 뜻하는지, 왜 작아져도 어느 정도는 똑똑하게 대답할 수 있는지, 그리고 그 과정에서 무엇을 얻고 무엇을 잃는지를 차근차근 이해해 보겠습니다.

LLM은 왜 이렇게 클까

LLM은 결국 엄청나게 많은 숫자의 묶음입니다. 이 숫자들을 보통 가중치라고 부릅니다. 아주 거칠게 말하면, 모델이 세상을 이해하는 방식이 이 숫자들 안에 들어 있다고 생각해도 됩니다.

문제는 숫자가 너무 많다는 점입니다. 예를 들어 8B 모델은 대략 80억 개 수준의 파라미터를 가집니다. 그런데 이 숫자 하나하나를 저장하려면 메모리가 필요합니다. 만약 각 숫자를 16비트로 저장한다면, 단순 계산만 해도 모델 가중치만 수십억 × 2바이트가 필요합니다.

즉, 모델이 큰 이유는 신비한 이유가 아니라 꽤 현실적입니다. 기억해야 할 숫자가 너무 많기 때문입니다.

여기서 양자화가 등장합니다. 양자화는 이 숫자들을 더 작은 크기로 저장해서, 모델의 몸집을 줄이는 방법입니다.

양자화란 무엇인가

양자화는 어렵게 들리지만, 핵심은 아주 단순합니다.

숫자를 덜 정밀하게 표현해서 저장 공간과 메모리 사용량을 줄이는 것.

예를 들어 원래는 어떤 값을 매우 세밀하게 적어 두었다고 해 봅시다. 그런데 실제 사용에서는 그렇게까지 촘촘한 자릿수가 꼭 필요하지 않을 수도 있습니다. 그럴 때 숫자를 조금 더 거칠게 표현해도 전체적인 의미는 꽤 잘 유지될 수 있습니다.

사진으로 비유하면 이해가 쉽습니다. 원본 사진은 용량이 크고 정보가 많습니다. 하지만 웹에 올릴 때는 압축해서 올리죠. 아주 세밀한 부분은 조금 사라져도, 사람 눈에는 여전히 "같은 사진"처럼 보일 때가 많습니다. 양자화도 비슷합니다. 모델의 숫자를 압축하되, 가능한 한 성능이 크게 떨어지지 않게 만드는 것입니다.

물론 완전히 공짜는 아닙니다. 압축하면 대체로 용량은 줄고 속도나 메모리 효율은 좋아지지만, 품질은 조금씩 손해를 볼 수 있습니다. 그래서 로컬 LLM에서는 늘 이런 질문을 하게 됩니다.

"얼마나 작게 만들고, 어디까지 품질을 유지할 것인가?"

16비트, 8비트, 4비트는 무엇이 다를까

초보자가 가장 자주 보는 숫자가 바로 4bit, 8bit 같은 표기입니다. 이것은 각 가중치를 몇 비트로 저장하느냐를 뜻합니다.

비트 수가 크면 숫자를 더 세밀하게 표현할 수 있고, 비트 수가 작으면 더 거칠게 표현합니다. 대신 파일 크기와 메모리 사용량은 크게 줄어듭니다.

대략적인 감각은 아래 표처럼 잡으면 됩니다.

예를 들어 8B 모델을 아주 단순하게 계산해 보면 감이 옵니다.

물론 실제 파일은 메타데이터나 구조에 따라 조금 더 커질 수 있고, 실행할 때는 여기에 캐시와 여유 메모리도 필요합니다. 그래도 초보자가 큰 그림을 잡기에는 충분한 계산입니다.

핵심은 이것입니다.

4bit는 숫자를 훨씬 더 거칠게 저장하지만, 그 덕분에 "원래는 너무 커서 못 돌리던 모델"을 내 컴퓨터에서 돌릴 수 있게 해 줍니다.

그런데 왜 작아져도 쓸 만할까

이 부분이 가장 신기하게 느껴질 수 있습니다. 숫자를 거칠게 만들었는데도 왜 모델이 여전히 답을 잘하는 걸까요?

이유는 몇 가지가 겹쳐 있습니다.

첫째, 모델 안에는 생각보다 중복된 정보와 비슷한 패턴이 많습니다. 모든 숫자가 똑같이 중요하지는 않습니다. 어떤 숫자는 아주 예민하지만, 어떤 숫자는 조금 둔하게 표현해도 전체 동작이 크게 달라지지 않습니다.

둘째, LLM은 정확히 한 개의 숫자를 외워서 답하는 기계가 아니라, 거대한 패턴을 따라 다음 토큰을 예측하는 시스템입니다. 그래서 모든 자릿수를 완벽하게 보존하지 않아도, 전체적인 경향만 잘 살아 있으면 꽤 그럴듯한 답을 만들 수 있습니다.

셋째, 요즘 양자화 방식은 단순히 "무작정 반으로 줄이기"가 아닙니다. 중요한 부분은 조금 더 조심스럽게 다루고, 덜 중요한 부분은 더 공격적으로 줄이는 식의 기법이 많이 쓰입니다. 덕분에 같은 4bit라도 예전 방식보다 더 똑똑하게 압축할 수 있습니다.

쉽게 말하면 이렇습니다. 책 한 권을 요약할 때 모든 문장을 똑같은 비중으로 다루지 않듯이, 모델 압축도 중요한 정보는 최대한 살리고 덜 중요한 정밀도는 줄이는 방향으로 발전해 온 것입니다.

4bit가 로컬 LLM의 대표 주자가 된 이유

로컬 LLM을 조금만 들여다보면 이상할 정도로 4bit 모델이 많이 보입니다. 이유는 단순합니다. 성능과 크기의 균형이 좋기 때문입니다.

16bit는 품질 면에서 마음이 편하지만, 대부분의 개인 장비에는 너무 큽니다. 8bit는 꽤 좋은 타협이지만, 여전히 메모리 부담이 남습니다. 반면 4bit는 품질이 어느 정도 유지되면서도 크기를 크게 줄일 수 있어서, 개인 PC나 노트북에서도 다루기 쉬워집니다.

그래서 초보자가 처음 로컬 LLM을 만질 때는 대개 이런 흐름으로 시작합니다.

• 우선 4bit 모델로 "내 장비에서 잘 도는가"를 확인한다.

• 품질이 아쉽고 여유 메모리가 있다면 5bit나 8bit 쪽을 시도한다.

• 반대로 메모리가 빠듯하면 더 작은 모델이나 더 가벼운 양자화 버전을 고려한다.

중요한 점은, 4bit가 무조건 최고라는 뜻은 아니라는 것입니다. 다만 초보자에게 가장 자주 추천되는 이유는, 실패 확률을 줄이고 체감 성능을 확보하기 좋은 지점이기 때문입니다.

GGUF는 무엇인가

이제 많이 보게 될 이름 하나를 알아봅시다. 바로 GGUF입니다.

GGUF는 양자화 그 자체의 이름이 아니라, 로컬에서 모델을 다루기 좋게 묶어 놓은 파일 형식에 가깝습니다. 초보자 입장에서는 이렇게 기억하면 됩니다.

GGUF는 "로컬 실행용 모델 꾸러미"다. 그 안에는 가중치와 토크나이저 정보, 여러 메타데이터가 함께 들어 있다.

즉, 4bit와 GGUF는 서로 다른 층위의 이야기입니다.

• 4bit, 8bit는 숫자를 얼마나 작게 저장했는지를 뜻합니다.

• GGUF는 그 결과물을 어떤 형식으로 담았는지를 뜻합니다.

그래서 Q4 GGUF 같은 표현이 함께 붙는 것입니다. 이는 "4비트로 양자화된 모델이 GGUF 형식으로 저장되어 있다"는 뜻입니다.

로컬 LLM 실습에서 GGUF가 자주 등장하는 이유는 실용적입니다. 개인 PC에서 잘 돌아가는 도구들이 이 형식을 폭넓게 다루고, 배포와 실행이 비교적 간편하기 때문입니다. 나중에 Ollama나 다른 로컬 런타임을 사용할 때도, 이런 파일 형식과 양자화 표기를 읽는 눈이 있으면 훨씬 덜 헷갈립니다.

파일 이름이 길어 보여도 겁먹지 말자

로컬 모델 파일 이름은 처음 보면 주문처럼 보입니다. 예를 들어 이런 식입니다.

my-model-7b-instruct-Q4_K_M.gguf

하지만 차근차근 보면 뜻이 있습니다.

• 7b는 대략적인 모델 크기입니다.

• instruct는 사용자의 지시에 맞게 대화하도록 다듬어진 모델이라는 뜻입니다.

• Q4는 4비트 양자화라는 뜻입니다.

• K_M 같은 뒤쪽 표기는 같은 4비트 안에서도 세부 양자화 방식이 다르다는 뜻입니다.

• .gguf는 파일 형식입니다.

초보자는 세부 접미사까지 완벽히 외울 필요는 없습니다. 처음에는 모델 크기, instruct 여부, Q4인지 Q8인지, GGUF 형식인지만 읽을 수 있어도 충분합니다.

PTQ와 QAT: 언제 양자화하느냐의 차이

양자화에는 대표적으로 두 가지 큰 방식이 있습니다. 이름이 조금 딱딱하지만, 뜻은 어렵지 않습니다.

PTQ: 학습이 끝난 뒤 줄이기

PTQ(Post-Training Quantization)는 말 그대로 모델 학습이 끝난 뒤에 양자화를 적용하는 방식입니다.

이미 잘 만들어진 모델을 가져와서, 그다음에 8bit나 4bit처럼 더 가벼운 형태로 변환하는 것입니다. 로컬 LLM 세계에서 우리가 자주 접하는 많은 양자화 모델은 이 방식으로 만들어집니다.

PTQ의 장점은 분명합니다. 원본 모델이 있으면 비교적 빠르게 여러 양자화 버전을 만들 수 있습니다. 그래서 사용자 입장에서는 선택지가 많아집니다. 같은 모델이라도 Q8, Q6, Q5, Q4처럼 여러 버전이 함께 공개되는 이유가 여기에 있습니다.

단점도 있습니다. 학습 과정에서 양자화를 고려한 것이 아니기 때문에, 모델에 따라서는 품질 손실이 더 눈에 띌 수 있습니다. 특히 너무 공격적으로 줄이면 답변 정확도나 안정감이 흔들릴 수 있습니다.

QAT: 학습하면서 양자화를 염두에 두기

QAT(Quantization-Aware Training)는 학습하는 동안부터 "나중에 양자화될 것"을 고려하는 방식입니다.

쉽게 말해 모델에게 미리 알려 주는 셈입니다.

"너는 나중에 숫자가 좀 거칠게 저장될 거야. 그러니 그 상황에서도 잘 버틸 수 있게 미리 적응해 둬."

이 방식은 대체로 품질 유지에 유리할 수 있습니다. 대신 구현이 더 복잡하고 비용도 더 듭니다. 그래서 누구나 아무 모델에나 쉽게 적용하는 방식은 아닙니다.

초보자에게 중요한 핵심은 이것입니다.

• PTQ는 완성된 모델을 나중에 줄이는 방식이다.

• QAT는 처음부터 줄어든 환경을 고려해 학습하는 방식이다.

• 일반적으로 QAT가 더 정교할 수 있지만, 실제로 로컬에서 많이 만나는 파일은 PTQ 결과물인 경우가 많다.

경량화는 양자화만을 뜻하지 않는다

지금까지는 양자화 이야기를 중심으로 봤지만, 경량화는 더 넓은 개념입니다. 모델을 작고 빠르게 만드는 여러 방법 전체를 가리킵니다.

대표적으로는 이런 방향이 있습니다.

• 애초에 파라미터 수가 더 적은 작은 모델을 설계한다.

• 큰 모델의 능력을 작은 모델에 옮겨 담는 증류를 사용한다.

• 불필요한 연결이나 가중치를 덜어 내는 가지치기를 시도한다.

• 실행 엔진을 최적화해 같은 모델도 더 빠르게 돌린다.

즉, "작아진 모델"이라고 해서 모두 같은 방식으로 가벼워진 것은 아닙니다. 어떤 모델은 원래부터 작게 설계되었고, 어떤 모델은 큰 모델을 압축해서 작아졌고, 어떤 모델은 양자화를 통해 실행 크기만 줄어든 것입니다.

하지만 초보자가 실제 로컬 환경에서 가장 먼저 체감하는 경량화는 대개 양자화입니다. 이유는 간단합니다. 파일 크기와 메모리 사용량 차이가 눈에 바로 보이기 때문입니다.

품질과 크기는 어떻게 맞바꾸게 될까

이제 가장 현실적인 질문으로 가 보겠습니다.

"작게 만들면 도대체 얼마나 손해를 보는 걸까?"

정답은 하나가 아닙니다. 모델마다 다르고, 작업마다 다릅니다. 그래도 실용적인 감각은 있습니다.

짧은 대화나 간단한 요약, 기본적인 질의응답에서는 4bit 양자화 모델도 꽤 만족스럽게 동작하는 경우가 많습니다. 반면 복잡한 추론, 미묘한 문장 생성, 코드 정확도, 긴 문맥 유지 같은 작업에서는 더 높은 정밀도가 유리할 수 있습니다.

대체로는 이런 경향을 기억하면 좋습니다.

여기서 초보자가 자주 헷갈리는 흥미로운 포인트가 있습니다.

작은 모델의 8bit와 더 큰 모델의 4bit 중 무엇이 더 나을까요?

항상 정답이 같지는 않지만, 실제로는 조금 더 큰 모델을 적당히 양자화한 쪽이 더 만족스러운 경우도 많습니다. 예를 들어 7B Q8보다 14B Q4가 더 좋은 답을 줄 수도 있습니다. 다만 그만큼 속도와 메모리 부담이 커집니다.

즉, 로컬 LLM에서는 단순히 "비트가 높으면 무조건 좋다"가 아니라, 모델 크기와 양자화 수준을 함께 봐야 합니다.

초보자를 위한 현실적인 선택 기준

처음에는 이론보다 기준점이 필요합니다. 아주 실용적으로 말하면, 대부분의 입문자는 아래 순서로 접근하면 됩니다.

• 첫 시도는 7B~8B급 instruct 모델의 4bit GGUF처럼 대중적인 조합으로 시작한다.

• 답변 품질이 아쉽고 메모리 여유가 있다면 Q5나 Q8을 고려한다.

• 속도가 너무 느리다면 정밀도를 올리기보다 한 단계 작은 모델을 먼저 검토한다.

• 코드, 논리 추론, 문서 작업 비중이 크다면 작은 모델의 고정밀도보다 조금 더 큰 모델의 적당한 양자화가 더 나을 수 있다.

이 기준이 좋은 이유는, 처음부터 최고 품질을 노리기보다 내 장비에서 꾸준히 잘 도는 구간을 먼저 찾게 해 주기 때문입니다.

양자화가 항상 속도까지 보장하는 것은 아니다

여기서 한 가지 오해를 풀고 가야 합니다. 양자화는 분명 모델을 작게 만들지만, 그것이 항상 체감 속도 향상으로 곧바로 이어지는 것은 아닙니다.

왜냐하면 속도는 단순히 파일 크기만으로 결정되지 않기 때문입니다. 하드웨어 지원, 실행 엔진, CPU와 GPU 중 어디서 도는지, 메모리 이동이 얼마나 일어나는지 같은 요소가 함께 작용합니다.

예를 들어 어떤 환경에서는 4bit 모델이 확실히 유리하지만, 또 어떤 환경에서는 8bit가 더 안정적이거나 구현 최적화가 잘 되어 더 부드럽게 느껴질 수도 있습니다.

그래서 로컬 LLM은 이론만 보고 끝내기보다, 결국 내 장비에서 직접 한두 가지 버전을 비교해 보는 것이 중요합니다.

초보자가 자주 하는 오해

처음 양자화를 접하면 아래와 같은 오해를 하기 쉽습니다.

• "4bit면 무조건 성능이 나쁘다." 꼭 그렇지는 않습니다. 많은 작업에서 4bit는 충분히 실용적입니다.

• "GGUF가 곧 4bit다." 아닙니다. GGUF는 파일 형식이고, 그 안에 FP16, Q8, Q4 같은 다양한 버전이 들어갈 수 있습니다.

• "같은 모델이면 양자화 버전도 다 비슷하다." 실제로는 세부 양자화 방식에 따라 결과가 달라질 수 있습니다.

• "파일이 작아졌으니 무조건 빨라진다." 메모리 사용량은 줄지만, 속도는 실행 환경과 최적화 상태에 따라 달라집니다.

• "품질이 아쉬우면 비트 수만 올리면 된다." 때로는 정밀도보다 모델 자체의 크기나 학습 품질이 더 큰 영향을 줍니다.

이 다섯 가지를 기억하면 모델 파일 이름을 볼 때 훨씬 침착해집니다.

한 문장으로 정리하면

양자화는 모델의 숫자를 덜 정밀하게 저장해 크기를 줄이는 기술이고, GGUF는 그렇게 줄인 모델을 로컬에서 다루기 좋게 담는 형식입니다.

PTQ는 학습이 끝난 뒤 줄이는 방식이고, QAT는 학습하면서 양자화를 고려하는 방식입니다. 그리고 경량화는 양자화만이 아니라, 작은 모델 설계와 증류 같은 더 넓은 방법까지 포함합니다.

결국 로컬 LLM의 핵심은 이것입니다.

모델을 완벽하게 보존하는 것보다, 내 장비에서 충분히 쓸 만한 품질로 실행 가능하게 만드는 것.

이 균형을 이해하면, 이제 다음 장에서 훨씬 중요한 질문으로 넘어갈 수 있습니다.

"그렇다면 내 목적과 내 컴퓨터에 맞는 로컬 모델은 무엇을 골라야 할까?"

이 장의 핵심 정리

LLM이 로컬에서 가능해지는 가장 큰 이유는 양자화 덕분에 모델 가중치를 훨씬 작게 저장할 수 있기 때문입니다. 16bit 모델은 무겁지만, 8bit나 4bit로 줄이면 개인 장비에서도 다룰 가능성이 크게 높아집니다.

하지만 양자화는 공짜가 아닙니다. 모델 크기와 메모리 사용량은 줄어들지만, 경우에 따라 품질 손실이 생길 수 있습니다. 그래서 로컬 LLM에서는 늘 크기, 속도, 품질의 균형을 따져야 합니다.

또한 GGUF는 양자화 방식의 이름이 아니라, 로컬 실행에 적합한 모델 파일 형식입니다. 그리고 PTQ, QAT, 증류 같은 개념을 이해하면 "왜 작은 모델도 쓸 만한가"를 훨씬 깊이 있게 볼 수 있습니다.

초보자에게 가장 중요한 결론은 하나입니다.

작게 만들었다고 해서 무조건 나빠지는 것은 아니다. 잘 줄인 모델은, 예상보다 훨씬 실용적이다.