LLM 학습 비용을 줄이는 가장 직접적인 방법은 숫자를 더 작게 저장하고 계산하는 것이다. 양자화는 BF16 같은 고정밀 가중치·활성값을 INT8, FP8, FP4 같은 저정밀 데이터 타입으로 바꿔 메모리 사용량과 계산 비용을 줄이는 기법이다.1
다만 사전학습(pretraining)은 추론 최적화보다 훨씬 까다롭다. 추론에서는 이미 학습된 가중치를 효율적으로 읽고 계산하는 것이 핵심이지만, 사전학습에서는 가중치, 활성값, 그래디언트가 계속 변한다. 4비트로 줄였을 때 학습이 흔들리면, 절약한 연산량보다 더 많은 토큰과 시간이 필요해질 수 있다.
그래서 NVFP4 4비트 사전학습의 핵심은 단순히 “더 낮은 비트”가 아니다. 낮은 정밀도에서도 학습 수렴을 어떻게 유지할 것인가가 본질이다.
NVFP4는 작은 블록 단위로 표현 오차를 줄인다
NVFP4를 이해하려면 먼저 블록 스케일링을 봐야 한다. cuDNN Frontend의 NVFP4 블록 스케일 양자화 레시피는 행 방향 16개 FP32 원소를 16개 FP4 E2M1 값과 1개 FP8 E4M3 스케일 팩터로 변환한다.2
의미는 간단하다. 텐서 전체를 하나의 스케일로 4비트에 맞추는 대신, 작은 묶음마다 별도의 스케일을 둔다. 이렇게 하면 일부 큰 값이 전체 표현 범위를 지배해 나머지 값의 정보가 뭉개지는 문제를 줄일 수 있다.
이 관점에서 NVFP4는 “무조건 4비트로 압축한다”기보다, 4비트 표현을 쓰되 오차를 관리하기 위한 스케일링 구조를 함께 쓰는 형식에 가깝다.
사전학습에서 중요한 것은 포맷보다 안정화 장치다
NVIDIA가 소개한 NVFP4 기반 4비트 사전학습 방법론은 NVFP4 마이크로스케일링 형식만으로 구성되지 않는다. 선택적 BF16 레이어, Wgrad 입력에 대한 16×16 Random Hadamard Transform, 2D 가중치 스케일링, 그래디언트 확률적 반올림을 함께 사용한다.3
이 조합이 중요한 이유는 사전학습의 불안정성이 한 지점에서만 생기지 않기 때문이다. 가중치 표현 오차, 활성값 분포, 그래디언트 노이즈, 특정 레이어의 민감도가 모두 누적될 수 있다. 따라서 저정밀 학습에서는 포맷 자체뿐 아니라 어떤 텐서를 어떻게 변환하고, 어디에 고정밀을 남기며, 반올림 오차를 어떻게 다룰지가 함께 중요해진다.
이번 결과의 메시지도 “FP4가 빠르다”에만 있지 않다. 해당 방법론은 10조 토큰으로 학습한 12B 하이브리드 Mamba-Transformer에서 검증됐다.3 즉, 관심 있게 봐야 할 부분은 4비트 사전학습이 장시간 학습에서도 수렴과 품질을 유지할 수 있는지에 대한 실험적 근거다.
추론용 양자화와 사전학습용 4비트는 구분해야 한다
TensorRT-LLM은 LLM 추론 최적화를 위해 FP4, FP8, NVFP4 KV 캐시, W4A16 GPTQ, W4A8 AWQ 등 여러 양자화 레시피를 제공한다.1 또한 기본 PyTorch 백엔드는 최신 Blackwell 및 Hopper GPU에서 FP4와 FP8 양자화를 지원한다.1
하지만 이것을 곧바로 “NVFP4 4비트 사전학습을 모든 환경에서 바로 쓸 수 있다”는 뜻으로 해석하면 안 된다. TensorRT-LLM 문서 기준으로 NVFP4 KV 캐시는 ModelOpt를 통한 오프라인 양자화가 필요하며, NVFP4 KV 캐시를 활성화할 때는 현재 FP8 가중치·활성값 양자화만 지원되므로 --quant fp8 옵션이 필요하다.1
즉, 문서에 나오는 NVFP4 KV 캐시와 NVIDIA가 제시한 NVFP4 기반 4비트 사전학습 방법론은 같은 문제를 다루지 않는다. 전자는 추론 메모리와 처리량 최적화에 가깝고, 후자는 학습 중 수렴 안정성까지 포함한 방법론이다.
적용 가능성은 하드웨어 지원에서 먼저 갈린다
NVFP4는 하드웨어 지원 여부도 중요하다. TensorRT-LLM의 하드웨어 지원 표에 따르면 NVFP4와 MXFP4는 Blackwell sm100/103에서 지원되며, Hopper, Ada Lovelace, Ampere는 NVFP4와 MXFP4를 지원하지 않는다.1
모델 지원 측면에서는 TensorRT-LLM 문서 기준 LLaMA, LLaMA-v2, LLaMA 4, Mixtral, Qwen-2/2.5, Qwen-3가 NVFP4를 지원한다.1 다만 이 역시 주로 추론 최적화 문맥에서 봐야 한다. 연구 논문에서 검증된 사전학습 방법론과, 프레임워크에서 제공하는 모델별 양자화 기능은 적용 범위와 목적이 다를 수 있다.
따라서 실무적으로는 “NVFP4 지원”이라는 표현만 보고 판단하기보다, 다음을 분리해서 확인해야 한다.
목표가 사전학습인지, 파인튜닝인지, 추론 최적화인지
사용하는 GPU가 NVFP4를 네이티브로 지원하는지
프레임워크가 원하는 경로를 실제로 지원하는지
품질 기준까지 도달하는 전체 비용이 줄어드는지
결론: 4비트보다 중요한 것은 수렴 비용이다
NVFP4 4비트 사전학습의 의미는 단순히 비트 수를 줄였다는 데 있지 않다. 핵심은 저정밀 학습에서 가장 위험한 수렴 문제를 NVFP4 마이크로스케일링, 선택적 BF16 레이어, Wgrad 입력 변환, 2D 가중치 스케일링, 그래디언트 확률적 반올림으로 함께 다룬다는 점이다.
실무자는 세 가지 기준으로 보면 된다. 첫째, 추론 최적화와 사전학습을 구분한다. 둘째, Blackwell급 NVFP4 지원과 소프트웨어 경로를 확인한다. 셋째, 단순 처리량이 아니라 목표 품질까지 도달하는 전체 학습 비용을 비교한다.
결국 NVFP4 4비트 사전학습이 던지는 질문은 “얼마나 낮은 비트로 계산할 수 있는가”가 아니다. “낮은 비트에서도 원하는 품질까지 안정적으로 도달할 수 있는가”다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.