AI 에이전트를 장시간 실행하다 보면 필연적으로 ‘비용’과 ‘속도’라는 두 장벽에 부딪힌다. 모든 작업을 대형 추론 모델로 처리하면 정확하지만, 응답 지연과 운영 비용이 에이전트의 실용성을 갉아먹는다. NVIDIA가 공개한 Nemotron 3.5 Lightning은 바로 이 지점을 정면으로 겨냥한 모델이다.
30B 모델을 3B 비용으로 돌리는 설계
Nemotron 3.5 Lightning은 전체 파라미터가 30B에 달하지만, 실제 추론 시에는 3B만 활성화되는 MoE(Mixture-of-Experts) 구조를 취한다1. 거대한 도서관에서 질문과 관련된 책상 몇 개만 켜서 답을 찾는 방식으로, 소형 모델 수준의 연산 비용으로 대형 모델에 근접한 추론 능력을 제공한다.
속도 면에서는 동급 모델과 비교해 최대 4배 빠른 출력을 기록했다. Artificial Analysis Intelligence Index 측정 기준 초당 약 670토큰의 출력 속도로 정확도-속도 파레토 최전선에 자리했으며2, PinchBench에서는 Qwen3.6 35B와 유사한 86% 정확도를 유지하면서 10,000개 작업을 30% 더 빠르게 완료했다1.
에이전트 실행 계층에 최적화된 성능
이 모델의 실전 가치는 ‘에이전트 친화적’ 설계에서 드러난다. 도구 호출, 결과 검증, 하위 에이전트 위임 같은 반복적인 실행 작업을 빠르게 처리하도록 훈련되었으며, 추측적 디코딩(Speculative Decoding)을 위해 다중 토큰 예측(MTP)을 학습 단계부터 통합하고 DFlash, DSpark 초안 모델을 함께 제공한다1.
커스터마이징 진입 장벽도 낮췄다. 모델 가중치와 학습 데이터, 레시피는 OpenMDW-1.1 라이선스로 공개되어, 필요한 작업에 맞춰 LoRA나 전체 SFT로 미세 조정할 수 있다1. 더불어 에이전트 코딩 능력 훈련에 사용된 강화학습 데이터셋 ‘Nemotron-RL Agentic Terminal Pivot’도 함께 공개했다.
하나의 모델을 넘어서는 조합: NeMo Switchyard
복수 모델을 운용하는 에이전트 시스템의 실제 난관은 ‘어떤 작업을 어느 모델에 보낼 것인가’를 판단하는 라우팅이다. NeMo Switchyard는 이 라우팅을 지능적으로 처리하는 오케스트레이션 라이브러리로, Nemotron 3.5 Lightning과 함께 공개되었다3.
개발자가 애플리케이션을 재구축할 필요 없이 작업 난이도나 성격에 따라 적절한 모델로 연결해준다. 복잡한 계획 수립은 대형 모델로, 반복적인 실행은 Nemotron 3.5 Lightning으로 자동 분배하는 구조다. LLM 분류기, 단계 라우터, 에스컬레이션 라우터 등 여러 알고리즘을 튜닝 없이 즉시 적용할 수 있다3.
실제 LangChain 테스트에서는 Claude Opus 4.8과 Nemotron 3.5 Lightning을 에스컬레이션 라우터로 조합한 결과, 프론티어 모델 단독 구성 대비 비용을 74% 절감하면서 정확도 하락을 약 6포인트로 억제했다3.
Nemotron 3.5 Lightning은 ‘항상 켜두는 에이전트’를 위한 경량 실행 엔진이다. DGX Spark, GeForce RTX 5090, Jetson 같은 로컬 환경에서도 구동되며 Ollama, LM Studio, llama.cpp 등 주요 도구를 바로 지원한다1. 무거운 AI 에이전트의 실행 계층을 어떻게 가볍게 설계할지 고민하는 개발자에게, 이 모델과 NeMo Switchyard 조합은 확실한 실용적 출발점이 될 것이다.
2NVIDIA launches Nemotron 3.5 Lightning
3Route AI Agent Workloads Across Models with NVIDIA NeMo Switchyard
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.