NVIDIA가 컴퓨텍스 기조연설에서 Nemotron 3 Ultra를 공개했습니다.1 이 모델을 이해하는 핵심은 “얼마나 큰가”보다 “큰 모델을 어떻게 빠르게 쓰는가”에 있습니다.
Nemotron 3 Ultra는 총 5,500억 개 파라미터를 가진 모델이지만, 추론 시에는 약 550억 개 파라미터만 활성화합니다.1 전체를 매번 동원하는 대신 필요한 일부만 사용하는 구조입니다. NVIDIA는 이를 약 90% 희소성을 가진 모델로 설명합니다.1
큰 모델을 매번 다 쓰지 않는다는 의미
Nemotron 3 Ultra는 MoE, 즉 전문가 혼합 방식의 모델로 볼 수 있습니다. 여러 전문가 중 요청에 필요한 일부만 선택적으로 사용하는 방식입니다. 덕분에 대형 모델이 가진 지식 범위를 활용하면서도, 매번 전체 파라미터를 계산하는 부담은 줄일 수 있습니다.
이 설계가 중요한 이유는 명확합니다. 최근 대형 언어모델 경쟁은 단순한 성능 점수뿐 아니라 실제 서비스에서의 처리량, 비용, 지연 시간으로 옮겨가고 있기 때문입니다. 모델이 아무리 크고 강력해도, 운영 비용이 지나치게 높거나 응답이 느리면 실무 적용 범위는 제한됩니다.
Nemotron 3 Ultra가 강조하는 지점도 여기에 있습니다. 공개된 벤치마크에서 초당 300토큰 이상을 처리한다고 제시됐고, Artificial Analysis 평가에는 BF16 가중치가 사용됐습니다.1 NVIDIA는 8K 입력·64K 출력 조건에서 GLM-5.1, Kimi K2.6, Qwen-3.5 대비 더 높은 추론 처리량을 제시했습니다.2
성능 점수만으로 판단하기 어려운 모델
Nemotron 3 Ultra는 지금까지 공개된 Nemotron 3 계열 중 가장 큰 모델입니다.1 NVIDIA는 이 모델을 에이전트형 AI, 추론, 긴 문맥 작업에 맞춘 모델로 설명합니다.3
다만 “가장 큰 모델”이 곧 “모든 기준에서 가장 뛰어난 모델”이라는 뜻은 아닙니다. Artificial Analysis Intelligence Index에서 Nemotron 3 Ultra는 48점을 기록해 미국 오픈 가중치 모델 중에서는 앞서는 것으로 평가됐지만, Kimi K2.6의 54점에는 미치지 못했습니다.1
따라서 이 모델을 볼 때는 질문을 바꿔야 합니다.
순수 추론 점수가 가장 중요한가?
긴 문맥과 에이전트형 작업이 중요한가?
오픈 가중치 기반으로 배포와 통제를 확보해야 하는가?
처리량과 비용 효율이 실제 서비스에서 더 중요한가?
Nemotron 3 Ultra의 가치는 특정 벤치마크 1위 여부보다, 대형 오픈 가중치 모델을 더 빠르게 운영하려는 방향에 있습니다.
개발자가 확인할 실무 포인트
Nemotron 3 Ultra는 Hugging Face에 공개됐고, BF16, Base BF16, NVFP4 체크포인트가 제공됩니다.2 라이선스는 OpenMDW 1.1입니다. 즉, 단순한 연구 발표가 아니라 개발자가 직접 검토하고 활용할 수 있는 형태로 공개됐다는 점이 중요합니다.
다만 5,500억 개 파라미터 규모의 모델인 만큼 자체 인프라에서 운용하려면 데이터센터급 GPU 자원이 필요합니다. 직접 호스팅이 부담된다면 API나 NVIDIA NIM 형태의 접근이 현실적인 선택지가 될 수 있습니다.
결국 Nemotron 3 Ultra가 보여주는 흐름은 분명합니다. 앞으로의 모델 경쟁은 “누가 더 큰 모델을 만들었는가”에서 “필요한 성능을 얼마나 빠르고 효율적으로 제공하는가”로 이동하고 있습니다. 개발자와 기업 입장에서는 성능 점수뿐 아니라 처리량, 배포 방식, 비용, 라이선스까지 함께 평가해야 합니다.
1Nemotron 3 Ultra launch announced: high-speed, leading US open weights intelligence
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.