Gemma 4 QAT: 작은 모델보다 중요한 것은 '제대로 줄이는 법'

로컬 AI의 병목은 더 이상 모델 성능만이 아닙니다. 같은 품질을 얼마나 적은 메모리와 계산 자원으로 실행하느냐가 점점 더 중요해지고 있습니다. Google DeepMind가 공개한 Gemma 4 QAT는 이 흐름을 잘 보여주는 사례입니다.

핵심은 단순히 모델을 작게 만드는 것이 아닙니다. 줄인 뒤에도 품질을 얼마나 보존하느냐입니다.

QAT는 무엇이 다른가

QAT는 Quantization-Aware Training의 줄임말입니다. 학습 중에 저정밀 양자화를 미리 시뮬레이션해, 모델 압축 과정에서 생기는 품질 손실을 줄이는 방식입니다.¹

일반적인 PTQ(Post-Training Quantization)는 학습이 끝난 모델을 나중에 양자화합니다. 적용은 비교적 쉽지만, 모델이 저정밀 환경에 맞춰 학습된 것은 아니기 때문에 성능 저하가 발생할 수 있습니다.¹

반면 QAT는 처음부터 “줄어든 상태로 실행될 것”을 학습 과정에 반영합니다. 그래서 같은 4비트 양자화라도 단순 압축보다 품질 보존에 유리할 수 있습니다.

Gemma 4 QAT가 제공하는 것

Google은 Gemma 4 QAT에 Q4_0 형식용 체크포인트와 모바일 특화 양자화 형식용 체크포인트를 포함했습니다.¹ 특히 새 모바일 양자화 형식은 Gemma 4 E2B의 메모리 사용량을 1GB 수준까지 낮춘다고 설명됩니다.¹

배포 경로도 넓습니다. Q4_0 및 모바일 모델 가중치는 Hugging Face에서 제공되며, llama.cpp용 GGUF 형식과 vLLM용 compressed tensors도 함께 언급됩니다.¹ 또한 Google은 Q4_0을 지원하는 형식으로 변환·양자화할 수 있도록 비양자화 체크포인트도 공유합니다.¹

실행 측면에서는 llama.cpp, Ollama, LM Studio 같은 로컬 실행 환경을 지원하고, LiteRT-LM 런타임을 통한 엣지 배포와 Transformers.js를 통한 웹 실행도 제시됩니다.¹ vLLM, MLX, Hugging Face Transformers, Unsloth와의 사용 역시 언급됩니다.¹

즉 Gemma 4 QAT의 가치는 “작아진 모델” 하나에만 있지 않습니다. 다양한 런타임과 배포 환경에서 양자화 모델을 실제로 쓰기 위한 선택지를 넓힌 데 있습니다.

포맷 호환보다 중요한 것은 변환 품질

다만 QAT 모델이라고 해서 어떤 방식으로든 변환하면 같은 품질이 유지되는 것은 아닙니다. 특히 llama.cpp나 GGUF 생태계에서 사용할 때는 변환 방식이 결과에 큰 영향을 줄 수 있습니다.

Daniel Han은 QAT Q4_0 BF16을 llama.cpp로 단순 변환하면 정확도가 낮아진다고 밝혔습니다. Unsloth 역시 26B-A4B 기준으로 단순 변환된 Q4_0의 top-1 정확도가 70.2%였고, 자체 Dynamic GGUF 방식에서는 85.6%까지 높아졌다고 설명합니다.²

이 차이는 중요한 신호입니다. 병목은 “4비트냐 아니냐”만이 아닙니다. 학습 때 가정한 양자화 구조와 실제 런타임 포맷, 변환 방식이 어긋나면 품질이 크게 떨어질 수 있습니다.

따라서 Gemma 4 QAT를 사용할 때는 파일 크기나 비트 수만 볼 것이 아니라, 해당 포맷이 어떤 변환 과정을 거쳤고 어떤 런타임에서 검증됐는지를 함께 확인해야 합니다.

개발자가 확인해야 할 기준

Gemma 4 QAT를 로컬 또는 엣지 환경에 적용하려면 세 가지를 먼저 점검하는 것이 좋습니다.

1. 목표 실행 환경
   노트북, 모바일, 브라우저, 서버 중 어디에서 실행할지에 따라 적합한 런타임이 달라집니다. llama.cpp, Ollama, LM Studio, LiteRT-LM, Transformers.js, vLLM 등 선택지가 다르기 때문입니다.¹

2. 사용할 양자화 포맷
   Google이 제공하는 Q4_0 체크포인트, 모바일 특화 양자화 체크포인트, GGUF, compressed tensors 중 어떤 형식이 목표 환경에 맞는지 확인해야 합니다.¹

3. 변환본의 검증 여부
   단순 변환된 4비트 모델이라고 해서 QAT의 장점이 그대로 유지된다고 보기 어렵습니다. 특히 llama.cpp용 GGUF를 쓴다면, 정확도 검증이 된 변환본인지 확인하는 것이 중요합니다.²

결론: 작게 만드는 것보다 제대로 줄이는 것이 중요하다

Gemma 4 QAT가 보여주는 변화는 명확합니다. 로컬 AI의 경쟁력은 이제 “얼마나 큰 모델을 쓰는가”에서 “얼마나 품질을 보존하며 줄이는가”로 이동하고 있습니다.

QAT는 이 문제에 대한 실용적인 접근입니다. 학습 단계에서부터 양자화를 고려해 압축 손실을 줄이고, 모바일·노트북·웹·엣지 환경에서 실행 가능성을 높입니다.

하지만 최종 품질은 모델만으로 결정되지 않습니다. 양자화 형식, 변환 방식, 런타임까지 함께 맞아야 합니다. Gemma 4 QAT를 사용할 때의 핵심 판단 기준도 여기에 있습니다. 작은 모델을 고르는 것이 아니라, 제대로 줄어든 모델을 고르는 것입니다.

¹Gemma 4 QAT models: Optimizing model compression for mobile and laptop efficiency

²Gemma 4 QAT | Unsloth Documentation