LLM 경쟁의 기준이 “몇 B 모델인가”에서 “같은 품질을 어떤 비용과 속도로 서빙할 수 있는가”로 옮겨가고 있습니다. NVIDIA의 Nemotron-Labs-3-Puzzle-75B-A9B는 이 변화를 잘 보여주는 사례입니다.
Puzzle-75B-A9B는 Nemotron-3-Super-120B-A12B를 대화형 배포 환경에 맞게 압축한 변형 모델입니다. 전체 파라미터는 120.7B에서 75.3B로, 활성 파라미터는 12.8B에서 9.3B로 줄었습니다.1 중요한 점은 숫자를 줄인 것 자체가 아니라, 줄인 목적이 명확하다는 데 있습니다. 이 모델은 높은 사용자 처리량 조건에서 서버 처리량을 최대화하도록 설계됐습니다.2
왜 “작아졌다”보다 “잘 서빙된다”가 중요한가
LLM 운영에서 성능은 보통 두 가지로 나뉩니다.
사용자 처리량: 한 사용자가 체감하는 생성 속도
서버 처리량: 같은 장비가 동시에 처리할 수 있는 전체 요청량
서비스 관점에서는 둘 중 하나만 좋아서는 부족합니다. 사용자가 느끼는 속도를 유지하면서, 같은 GPU 자원으로 더 많은 요청을 처리할 수 있어야 합니다. Puzzle-75B-A9B의 설계 목표도 바로 여기에 있습니다.
공개된 결과에 따르면 이 모델은 단일 8×B200 노드에서 사용자당 100 tok/s 기준으로 Nemotron-3-Super 대비 총 처리량 2.03배를 기록했습니다.2 또한 단일 H100에서 1M 토큰 컨텍스트를 처리할 때 동시 요청 수가 1개에서 8개로 늘었습니다.2 이는 장문 입력이나 동시 요청이 많은 환경에서 압축 모델의 가치가 단순한 메모리 절감에 그치지 않음을 보여줍니다.
압축의 핵심은 병목별로 다르게 줄이는 것
Puzzle-75B-A9B는 Hybrid MoE 구조를 기반으로 합니다. MoE는 여러 전문가 네트워크 중 일부만 선택해 사용하는 방식이기 때문에, 전체 파라미터뿐 아니라 활성 파라미터가 실제 추론 비용에 큰 영향을 줍니다.
NVIDIA는 이 모델을 만들기 위해 Iterative Puzzle 압축 프레임워크와 지식 증류를 결합했습니다.2 여기에 강화학습, 양자화, Multi-Token Prediction 헤드도 포함됐습니다.2 Multi-Token Prediction은 한 번에 다음 토큰 여러 개를 예측하도록 해 생성 효율을 높이는 접근입니다.
핵심은 모델을 균일하게 깎아낸 것이 아니라는 점입니다. 레이어마다 MoE 채널과 활성 전문가 수를 다르게 줄이고, Mamba SSM 상태 크기도 조정했습니다.1 덜 민감한 부분은 더 줄이고, 성능에 중요한 부분은 보존하는 방식입니다. 그래서 이 모델은 “작은 모델”이라기보다 “서빙 병목에 맞춰 재설계된 모델”에 가깝습니다.
운영자는 무엇을 봐야 하나
Puzzle-75B-A9B는 reasoning, coding, multilingual, long-context, agentic 벤치마크에서 부모 모델 대비 강한 성능을 유지한다고 공개됐습니다.1 하지만 실제 도입 판단에서는 벤치마크 점수만으로는 부족합니다. 이 모델의 장점은 특정 점수 하나보다 운영 조건에서의 효율에 있기 때문입니다.
특히 다음과 같은 환경에서 의미가 커집니다.
긴 입력을 자주 다루는 RAG
장문 문서 분석
여러 요청을 동시에 처리해야 하는 챗봇 서비스
반복 호출이 많은 에이전트 워크플로
GPU 메모리와 처리량이 비용을 좌우하는 배포 환경
반대로 단일 사용자 기준의 최고 품질만 중요하고 동시성이나 비용 제약이 크지 않다면, 압축 모델의 이점은 상대적으로 작을 수 있습니다. 따라서 도입 여부는 “가장 높은 점수를 내는가”보다 “우리 서비스의 병목을 줄여주는가”로 판단하는 편이 적절합니다.
결론: 모델 크기가 아니라 배포 병목을 최적화하는 경쟁
Nemotron-Labs-3-Puzzle-75B-A9B의 메시지는 분명합니다. 앞으로의 LLM 최적화는 단순한 파라미터 축소가 아니라, 실제 서비스에서 문제가 되는 병목에 맞춘 구조 재설계로 이동할 가능성이 큽니다.
이 모델은 Nemotron-3-Super의 압축 변형이지만, 단순히 더 작은 대체재로 보기 어렵습니다. 사용자 체감 속도를 유지하면서 서버 처리량을 높이고, 장문 컨텍스트 동시성을 개선하는 방향으로 설계된 배포 중심 모델입니다. 운영자에게 중요한 질문도 바뀝니다. “얼마나 큰 모델인가”보다 “내 인프라에서 얼마나 많은 사용자를 안정적으로 처리할 수 있는가”가 더 실용적인 기준이 됩니다.
1nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face
2[2607.04371] Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.