온디바이스 AI에서 중요한 것은 모델 성능만이 아닙니다. 사용자가 체감하는 품질은 지연 시간, 메모리 사용량, 배터리 소모가 함께 결정합니다. Google이 Pixel 9·10 시리즈에 배포한 Gemini Nano v3용 Frozen Multi-Token Prediction(MTP)은 이 지점을 겨냥한 추론 최적화입니다.1
MTP는 무엇을 빠르게 만드는가
일반적인 자기회귀 LLM은 한 번의 순전파마다 토큰을 하나씩 생성합니다.2 문장이 길어질수록 이 과정을 반복해야 하므로, 응답 속도는 토큰 생성 횟수에 직접 영향을 받습니다.
Multi-Token Prediction(MTP)은 추가 출력 헤드를 사용해 여러 미래 토큰을 병렬로 예측하는 방식입니다.2 별도의 작은 드래프트 모델을 띄우는 대신, 모델 자신의 내부 상태에서 후보 토큰을 만듭니다.2 이후 메인 모델이 후보를 검증하고, 맞은 토큰은 한 번에 받아들이며 틀린 지점부터 다시 생성합니다.
따라서 MTP의 목적은 모델이 더 “똑똑해지는” 것이 아니라, 이미 가능한 출력을 더 적은 반복으로 생성하도록 돕는 것입니다.
Frozen MTP: 모델은 고정하고 추론 경로를 바꾼다
Google의 Frozen MTP는 기존 Gemini Nano v3 모델의 가중치를 고정한 상태에서 최종 레이어에 MTP 헤드를 붙이는 구조입니다.1 기반 모델 자체를 다시 학습하거나 교체하는 대신, 추론 과정에서 여러 토큰을 미리 제안할 수 있는 경로를 추가한 것입니다.
이 접근은 모바일 환경에서 특히 의미가 있습니다. 온디바이스 모델은 배포 크기, 메모리, 전력 예산이 제한적입니다. 모델 전체를 바꾸는 방식은 비용이 크고 검증 부담도 큽니다. 반면 Frozen MTP는 기존 모델의 가중치를 유지하면서 실행 효율을 개선하는 방향에 가깝습니다.
왜 KV 캐시 구조가 중요한가
MTP가 실용적인 가속 기술이 되려면, 드래프트를 만들기 위해 또 다른 메모리 부담을 만들지 않아야 합니다. 기존 speculative decoding에서는 별도의 작은 드래프트 모델을 둘 수 있지만, 이 경우 두 번째 가중치 파일을 메모리에 올려야 하고 모델 간 실행 흐름 전환도 필요합니다.2
Google의 설계는 이 부담을 줄이는 데 초점을 둡니다. MTP 헤드는 별도 KV 캐시를 유지하지 않고, 메인 모델의 고정 KV 캐시에 직접 cross-attention합니다.1 즉, 이미 계산된 상태를 중복 저장하지 않고 재사용하는 구조입니다.
Google은 이 방식으로 독립형 드래프터 대비 인스턴스당 130MB의 메모리 절감을 관찰했다고 밝혔습니다.1 서버 환경에서도 의미 있는 수치지만, RAM과 전력 예산이 제한된 스마트폰에서는 더 직접적인 제품 이점으로 이어질 수 있습니다.
개발자가 볼 때의 판단 기준
MTP는 정확도를 높이는 기술이라기보다, 검증 가능한 토큰 제안을 통해 처리량을 높이는 기술입니다. MTP 호환 모델에서는 처리량이 1.5배 이상 증가했다는 보고도 있습니다.2
다만 “켜기만 하면 빨라지는” 범용 스위치로 이해해서는 안 됩니다. 효과를 내려면 MTP 헤드가 포함된 모델, 이를 지원하는 런타임, 그리고 실제 생성 과정에서 충분한 후보 토큰 수락률이 필요합니다.
llama.cpp에서도 최근 MTP 지원이 추가됐습니다.2 네이티브 MTP 헤드는 --spec-type mtp 플래그로 활성화하고, 단계당 예측할 드래프트 토큰 수는 --spec-draft-n-max <N>으로 설정합니다.2 이는 MTP가 연구 아이디어를 넘어 실제 추론 런타임의 선택지가 되고 있음을 보여줍니다.
핵심은 더 큰 모델이 아니라 더 나은 재사용이다
Frozen MTP의 핵심은 Gemini Nano v3를 더 작은 모델로 바꾸는 것이 아닙니다. 이미 계산한 모델 상태를 더 효율적으로 재사용해, 같은 모델이 더 적은 반복과 메모리 부담으로 응답하도록 만드는 것입니다.
온디바이스 AI의 경쟁력은 앞으로 모델 크기나 벤치마크 점수만으로 결정되지 않을 가능성이 큽니다. 제한된 기기 안에서 KV 캐시, 메모리, 실행 흐름을 얼마나 낭비 없이 설계하느냐가 실제 사용자 경험을 좌우할 것입니다.
1Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction
2Multi-Token Prediction Just Landed in llama.cpp -- Here's What's Actually Available
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.