Gemma 4 QAT 체크포인트: 로컬 AI의 병목은 '모델 크기'다

로컬 AI를 노트북이나 휴대폰에서 실행할 때 가장 먼저 마주치는 한계는 대개 연산 성능보다 메모리입니다. 모델이 너무 크면 다운로드, 로딩, 추론 속도, 배터리 사용량까지 모두 부담이 됩니다.

Google이 공개한 Gemma 4 QAT 체크포인트는 이 문제를 직접 겨냥합니다. 보도된 수치로는 가장 작은 모델 크기가 11.4GB에서 0.84GB로 줄었습니다.¹ 핵심은 단순히 파일을 작게 만든 것이 아니라, 압축 이후에도 품질 손실을 줄이도록 학습 단계부터 양자화를 고려했다는 점입니다.

QAT는 압축 이후의 품질 저하를 줄이기 위한 학습 방식

QAT는 Quantization-Aware Training의 약자입니다. 모델을 학습하는 동안 양자화로 생길 손실을 미리 시뮬레이션해, 모델이 낮은 정밀도 환경에 적응하도록 만드는 방식입니다.²

반대로 PTQ(Post-Training Quantization)는 학습이 끝난 모델을 나중에 양자화합니다. 적용은 간단하지만, 모델이 압축 환경을 학습 중 경험하지 않았기 때문에 성능 저하가 발생할 수 있습니다.²

Google은 Gemma 4 QAT 결과가 표준 PTQ 기준선보다 전반적으로 더 나은 품질을 보였다고 설명합니다.² 따라서 이번 릴리스의 의미는 “더 작은 체크포인트”에만 있지 않습니다. 로컬 실행에 필요한 압축을 하면서도, 품질을 유지하려는 접근이 함께 제공된다는 점이 중요합니다.

작게 만들되, 모든 부분을 똑같이 낮추지는 않는다

Gemma 4 QAT 릴리스에는 Q4_0 형식용 체크포인트와 모바일 특화 양자화 형식이 포함됩니다.² Hugging Face 모델 카드 기준으로는 GGUF, 모바일 최적화 wNa8o8, vLLM용 compressed tensors 같은 여러 배포 형식도 확인할 수 있습니다.³

특히 모바일 특화 스키마는 더 적극적인 최적화를 사용합니다. Gemma 4 E2B와 E4B에는 모바일 전용 양자화 방식이 적용되며, 이 방식은 혼합 정밀도인 wNa8o8 형식을 사용합니다.² 또한 MLP와 임베딩에는 2비트 압축을 적용하고, 정적 KV 캐시에는 4비트와 8비트를 사용합니다.

여기서 중요한 설계 원칙은 “전부 낮은 정밀도로 바꾸지 않는다”는 것입니다. 모바일 스키마는 토큰 생성에 관여하는 특정 부분을 2비트로 강하게 압축하면서도, 핵심 추론 레이어는 더 높은 정밀도로 유지해 저장공간 절감과 품질 보존을 함께 노립니다.²

모바일과 노트북에서 중요한 최적화 포인트

모바일 특화 형식은 단순한 파일 압축이 아닙니다. 실제 디바이스에서 추론할 때 발생하는 비용을 줄이도록 설계되어 있습니다.

첫째, 정적 활성화를 사용합니다. 이는 학습 중 스케일 설정을 미리 계산해두는 방식으로, 모바일 칩에서 런타임 스케일 계산 부담을 줄이기 위한 설계입니다.²

둘째, 채널별 양자화를 사용합니다. 압축된 데이터를 모바일 가속기 구조에 맞춰 배치함으로써, 온디바이스 실행에 더 적합한 형태로 만드는 방식입니다.²

이런 최적화는 로컬 AI에서 특히 중요합니다. 서버에서는 메모리와 연산 자원을 늘리는 선택지가 있지만, 휴대폰이나 노트북에서는 모델 크기, 메모리 사용량, 전력 효율이 곧 배포 가능성을 결정합니다.

개발자가 확인해야 할 기준

Gemma 4 QAT 체크포인트를 볼 때는 모델 크기만 비교해서는 부족합니다. 어떤 실행 환경에서 쓸 것인지에 따라 봐야 할 형식이 달라집니다.

• llama.cpp나 Ollama 중심의 로컬 실행이라면 GGUF 형식

• 서버 추론 환경이라면 vLLM용 compressed tensors 형식

• 온디바이스 앱이나 모바일 배포라면 모바일 특화 wNa8o8 형식

Google은 모바일 형식으로 Gemma 4 E2B의 메모리 풋프린트를 1GB 수준까지 낮췄다고 밝혔습니다.² 이는 소형 로컬 모델을 실험 수준이 아니라 실제 앱과 개인 장치 배포 관점에서 검토할 수 있게 만드는 변화입니다.

결론: 로컬 LLM 선택 기준이 바뀌고 있다

Gemma 4 QAT 체크포인트의 핵심 메시지는 명확합니다. 온디바이스 AI에서 중요한 것은 파라미터 수만이 아니라, 모델이 어떤 방식으로 압축되고 어떤 실행 환경을 목표로 배포되는가입니다.

앞으로 로컬 LLM을 고를 때는 “몇 B 모델인가”만 볼 것이 아니라, QAT인지 PTQ인지, 어떤 양자화 형식을 쓰는지, 모바일·노트북·서버 중 어디에 최적화됐는지를 함께 봐야 합니다. Gemma 4 QAT는 로컬 AI 배포에서 양자화 방식 자체가 중요한 선택 기준이 되고 있음을 보여주는 사례입니다.

¹Google releases Gemma 4 quantization-aware training checkpoints, shrinking its smallest model from 11.4 GB to 0.84 GB

²Gemma 4 QAT models: Optimizing model compression for mobile and laptop efficiency

³unsloth/gemma-4-26B-A4B-it-qat-GGUF · Hugging Face