최근 FP4, 즉 4비트 부동소수점이 다시 주목받고 있습니다. 직접 계기는 FP4를 설명하는 기술 글과 함께, NVIDIA Blackwell의 NVFP4 같은 실제 하드웨어 지원이 본격화된 점입니다.12 예전에는 "너무 작은 숫자 형식" 정도로 보였지만, 이제는 대형 AI 모델의 비용과 처리량을 좌우하는 실전 기술이 됐습니다.
중요한 이유는 단순합니다. AI 추론의 병목은 점점 "연산"보다 "메모리와 대역폭"으로 이동하고 있고, 비트를 절반으로 줄이면 같은 VRAM으로 더 큰 모델을 올리거나 더 많은 동시 요청을 처리할 수 있기 때문입니다.34 다만 FP4는 FP8의 자연스러운 다음 단계가 아닙니다. FP4는 혼자서는 너무 작아서, 스케일링과 하드웨어 보조 없이는 잘 작동하지 않는 형식에 가깝습니다.
FP4는 "엄청 작은 FP16"이 아니라, 거의 다른 계열의 숫자 형식이다
부동소수점은 부호, 지수, 가수로 숫자를 표현합니다. FP4에서 많이 거론되는 형태는 E2M1, 즉 지수 2비트, 가수 1비트입니다.5 문제는 여기서 바로 드러납니다. 표현 가능한 값의 수가 극단적으로 적고, 동적 범위도 매우 좁습니다.
실제로 FP4 E2M1은 양수 기준으로 0, 0.5, 1, 1.5, 2, 3, 4, 6 정도만 대표값으로 가집니다.5 이건 "대충 작은 정밀도"가 아니라, 숫자선 위에 찍힌 점이 거의 없는 수준입니다. FP32, FP16, FP8을 쓰던 감각으로 접근하면 안 되는 이유입니다.
여기서 핵심 해석은 이겁니다. FP4의 본질은 "숫자를 정밀하게 담는 형식"이 아니라 "스케일을 잘 고르면 연산 밀도를 극단적으로 높일 수 있는 압축 형식"에 가깝습니다. 그래서 FP4를 논할 때는 항상 원소 자체보다 스케일링 방식을 같이 봐야 합니다.
실무적으로는 FP4 지원 여부보다 먼저, "어떤 스케일 단위를 쓰는가"를 봐야 합니다. 텐서 전체에 스케일 하나를 거는 방식으로는 4비트가 버티기 어렵습니다. 값 분포에 큰 outlier가 하나만 있어도 나머지가 0 근처로 무너질 수 있기 때문입니다.2
FP4가 실전에 들어온 이유는 숫자 형식보다 '마이크로스케일링' 덕분이다
FP4가 최근 실용화된 가장 큰 이유는 MX, 즉 microscaling 포맷입니다. 이는 블록 부동소수점의 현대적 변형으로, 작은 블록의 값들이 스케일을 공유하는 방식입니다.6 OCP MXFP4는 보통 FP4 값 32개가 E8M0 스케일 하나를 공유합니다.6
이 접근의 장점은 분명합니다. FP4 자체의 좁은 범위를 블록 단위 스케일로 보완해, 메모리 절감과 처리량 증가를 동시에 노릴 수 있습니다. 업계 표준화가 진행됐고, AMD·Arm·Intel·Meta·Microsoft·NVIDIA·Qualcomm 등이 MX 포맷에 참여한 것도 같은 맥락입니다.6
다만 여기서도 끝이 아닙니다. NVIDIA의 NVFP4는 OCP MXFP4를 그대로 쓰지 않고, 32개 대신 16개 단위로 더 작은 블록을 쓰고, 스케일도 E8M0 대신 E4M3로 바꿉니다. 대신 텐서 레벨 FP32 스케일을 추가한 2단 구조를 씁니다.26 확인 가능한 사실은 이 구성이 양자화 오차를 줄이려는 설계라는 점입니다. 해석하자면, FP4는 이제 "비트 수" 경쟁이 아니라 "스케일 설계" 경쟁에 들어갔습니다.
도입 판단 기준도 여기서 나옵니다. FP4를 검토할 때는 하드웨어가 FP4 원소 연산만 지원하는지, MX/NVFP4 같은 블록 스케일까지 가속하는지, 프레임워크가 해당 형식을 실제 커널로 소화하는지 를 같이 봐야 합니다. 셋 중 하나라도 빠지면 발표 수치와 실사용 성능 차이가 커질 수 있습니다.
FP4의 약속은 크지만, FP8과 INT4를 바로 대체하진 않는다
FP4의 매력은 분명합니다. 이론적으로는 FP8보다 더 작은 메모리 풋프린트, 더 높은 처리량, 더 많은 동시성입니다. 저정밀 연산 하드웨어 연구들도 FP4/FP8 MAC가 면적과 전력 효율 면에서 유리하다고 봅니다.7
하지만 반론도 분명합니다. 실제 서비스에서는 "더 작다"가 곧 "더 낫다"가 아닙니다. FP8은 이미 정확도 손실이 작고, 처리량도 충분히 좋아서 많은 경우 기본 선택지가 되고 있습니다.3 반면 4비트 계열은 특히 코드 생성이나 민감한 추론 작업에서 품질 저하가 더 크게 나타날 수 있습니다. 공개 벤치마크에서 Int4는 BF16 대비 처리량은 2.7배였지만, 코드 생성 정확도는 더 큰 폭으로 떨어졌습니다.3
여기서 FP4의 자리는 분명해집니다. 범용 기본값이라기보다, 모델·레이어·워크로드를 가려 쓰는 포맷입니다. 특히 메모리 압박이 심한 대형 추론, 제한된 VRAM에서 동시성을 극대화해야 하는 환경, 혹은 FP8도 아직 비싼 경우에 의미가 큽니다. 반대로 정확도 회귀 비용이 큰 서비스라면 FP8이 여전히 더 현실적인 선택일 수 있습니다.
한 가지 더 볼 점은, 현장에서는 단순 토큰/초보다 "토큰 효율"도 중요하다는 것입니다. NVIDIA 개발자 포럼의 사례처럼 FP8이 4비트 양자화보다 체감 처리량이 비슷하거나 더 낫고, 응답 토큰 수도 줄어드는 경우가 보고됩니다.8 이건 공식 벤치마크라기보다 현장 관찰에 가깝지만, 저정밀 도입에서 "속도만 볼 수 없다"는 좋은 경고입니다.
FP4를 지금 신경 써야 하는 사람은 분명합니다. 블랙웰급 GPU, 차세대 추론 서버, 초대형 모델 서빙 비용을 다루는 팀입니다. 반대로 대부분의 일반 추론 스택에서는 아직 FP8이 더 안전한 기준선일 가능성이 큽니다. 앞으로 봐야 할 것은 하나입니다. FP4 자체의 비트 수가 아니라, 어떤 스케일링 규약이 표준이 되고, 어떤 프레임워크가 그것을 실제 성능으로 바꾸느냐입니다. FP4의 승부는 숫자 형식보다 시스템 설계에서 갈릴 가능성이 높습니다.
참고
2NVFP4 Explained: How NVIDIA Blackwell Unlocks Low-Precision Floating Point
3LLM Quantization: BF16 vs FP8 vs INT4
4Best GPU for AI Inference in 2026: Benchmarks, Pricing, and Decision Guide
6Block floating point - Wikipedia
7Dual-Precision Floating Point Multiply-Accumulate Processing Engine for AI Applications
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.