AI 에이전트의 경쟁 기준이 바뀌고 있습니다. 이제 중요한 것은 “한 번 그럴듯하게 답하느냐”보다 “오래 실행되는 작업에서 맥락을 유지하고, 비용을 통제하며, 목표에서 벗어나지 않느냐”입니다.
NVIDIA가 2026년 6월 4일 공개한 Nemotron 3 Ultra는 이 문제를 겨냥한 오픈 모델입니다. Nemotron 3 모델군의 최종 모델로 소개됐으며, 장시간 실행 에이전트를 위한 추론 효율과 긴 컨텍스트 처리에 초점을 맞췄습니다.1
Nemotron 3 Ultra는 무엇인가
Nemotron 3 Ultra는 총 5,500억 개 파라미터를 갖고, 추론 시에는 약 550억 개 활성 파라미터를 사용하는 Mixture-of-Experts 모델입니다.1 MoE는 여러 “전문가” 중 필요한 일부만 활성화하는 방식입니다. 전체 모델의 지식 용량은 크게 유지하면서도 매번 모든 파라미터를 동원하지 않아 추론 비용과 속도를 관리하기 쉽습니다.
아키텍처는 Hybrid Mamba-Attention 구조를 기반으로 합니다.1 여기에 정확도 향상을 위한 LatentMoE, 네이티브 speculative decoding을 지원하는 MTP 레이어가 포함됩니다.1 요약하면, 긴 문맥을 더 효율적으로 다루고 다음 토큰 생성을 빠르게 하기 위한 설계입니다.
또한 Nemotron 3 Ultra는 NVFP4로 사전학습됐고, 후학습에는 SFT, RL, MOPD가 사용됐습니다.1 단순히 큰 모델을 만든 것이 아니라, 장시간 추론과 에이전트 작업에 맞춰 학습·최적화 과정을 구성한 모델로 볼 수 있습니다.
왜 장시간 실행 에이전트에 중요한가
에이전트는 일반 챗봇처럼 답변만 생성하지 않습니다. 계획을 세우고, 도구를 호출하고, 결과를 검토하고, 실패하면 다시 시도합니다. 이 과정이 길어질수록 컨텍스트는 빠르게 커지고, 비용은 증가하며, 모델이 원래 목표를 잊을 위험도 커집니다.2
Nemotron 3 Ultra가 주목받는 이유는 이 지점에 있습니다. 이 모델은 최대 100만 토큰 컨텍스트 길이를 지원합니다.1 긴 문서 분석, 복잡한 코드베이스 검토, 여러 단계의 리서치, 장시간 도구 사용처럼 많은 정보를 누적해야 하는 작업에 유리합니다.
또 하나의 핵심은 reasoning budget 제어입니다.1 모든 요청에서 항상 가장 깊은 추론을 수행하는 대신, 작업 난도와 비용 목표에 맞춰 추론량을 조절할 수 있습니다. 에이전트를 실제 서비스에 넣는 팀에게는 성능만큼이나 비용 예측성이 중요합니다.
오픈 모델이 주는 실질적 의미
Nemotron 3 Ultra는 오픈 모델입니다. NVIDIA는 사전학습·후학습·양자화 체크포인트와 학습 데이터, 레시피를 공개한다고 밝혔습니다.1 이는 API로만 접근하는 모델과 다른 선택지를 제공합니다.
기업이나 연구팀 입장에서는 자체 도메인에 맞춰 모델을 조정하거나, 내부 인프라 정책에 맞게 배포 방식을 설계할 수 있습니다. 특히 보안, 데이터 통제, 장기 운영 비용을 중요하게 보는 조직에서는 “모델을 얼마나 통제할 수 있는가”가 중요한 판단 기준이 됩니다.
다만 오픈 모델이라는 말이 곧 “쉽게 로컬에서 실행할 수 있다”는 뜻은 아닙니다. Hugging Face 모델 카드 기준 BF16 모델은 16개 H100 또는 8개 H200급 구성이 요구됩니다.3 따라서 실제 도입은 자체 호스팅, NVIDIA NIM, OpenRouter, Perplexity 같은 접근 경로를 나눠 검토해야 합니다.2
Perplexity는 Nemotron 3 Ultra를 Pro 및 Max 요금제에 통합했으며, Perplexity의 Computer 기능에서도 사용할 수 있습니다. 이는 Nemotron 3 Ultra가 연구용 모델에 머무르지 않고, 장시간 도구 사용형 에이전트 경험으로 연결되고 있음을 보여줍니다.
도입 전 확인할 기준
Nemotron 3 Ultra를 검토할 때는 모델 크기보다 사용 시나리오를 먼저 봐야 합니다.
첫째, 작업이 정말 긴 컨텍스트를 요구하는가. 짧은 질의응답이나 단순 요약이 중심이라면 100만 토큰 컨텍스트의 장점이 크게 드러나지 않을 수 있습니다.
둘째, 에이전트가 여러 단계를 반복 실행하는가. 계획, 검색, 도구 호출, 검증, 수정이 이어지는 워크플로라면 장시간 실행에 맞춘 설계가 의미를 가집니다.
셋째, 추론 비용을 제어해야 하는가. reasoning budget 제어는 성능과 비용 사이의 균형을 잡아야 하는 운영 환경에서 특히 중요합니다.
넷째, 모델 개방성이 필요한가. 내부 데이터, 자체 파인튜닝, 배포 통제, 연구 재현성이 중요하다면 오픈 모델이라는 점이 강한 장점이 될 수 있습니다.
결론
Nemotron 3 Ultra의 의미는 또 하나의 대형 언어모델 출시를 넘어섭니다. 오픈 모델이 긴 문맥, 장시간 추론, 도구 사용, 에이전트 오케스트레이션을 본격적으로 겨냥하기 시작했다는 신호입니다.
도입을 검토한다면 질문은 단순합니다. 내 작업이 긴 문맥과 반복 실행을 요구하는가. 추론 비용을 통제해야 하는가. 모델과 데이터, 레시피의 개방성이 필요한가. 이 질문들에 “예”라고 답할 수 있다면 Nemotron 3 Ultra는 주의 깊게 살펴볼 가치가 있습니다.
1NVIDIA Nemotron 3 Ultra - NVIDIA Nemotron
2NVIDIA Nemotron 3 Ultra Powers Faster, More Efficient Reasoning for Long-Running Agents
3nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 · Hugging Face
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.