Molt: 인프라가 아닌 아이디어에 집중하게 만드는 PyTorch 네이티브 에이전틱 RL 프레임워크
강화 학습(RL)으로 AI 에이전트를 연구할 때, 가장 큰 장벽은 알고리즘 자체가 아니라 이를 뒷받침하는 인프라다. 분산 학습 환경을 구성하고, 롤아웃 엔진을 붙이고, 모델 가중치를 동기화하는 작업은 엄청난 공학적 부담으로 다가온다. 정작 중요한 가설 검증과 실험은 뒷전으로 밀리기 십상이다. NVIDIA가 공개한 Molt는 바로 이 지점을 정면으로 겨냥한 프레임워크다. “에이전트가 곧 프로그램”이라는 철학 아래, 연구자가 인프라가 아닌 알고리즘 아이디어에 온전히 집중할 수 있도록 설계된 PyTorch 네이티브 도구다1.
단 세 가지 구성 요소로 완성되는 비동기 엔진
Molt 런타임의 핵심은 놀라울 정도로 단순한 구조에 있다. 배치 스케줄링과 비동기 큐는 Ray가 맡고, 롤아웃 생성은 vLLM이, 실제 학습은 NeMo AutoModel과 FSDP2라는 순수 PyTorch 백엔드가 처리한다. 이 세 가지 구성 요소가 전부다1.
이러한 단순함이 가능한 이유는 완전 비동기 설계 덕분이다. Molt에서는 롤아웃, 학습, 가중치 동기화가 순차적으로 실행되지 않고 서로 중첩된다. 학습자가 새로운 가중치를 기다리는 동안에도 다음 롤아웃은 계속 진행된다. 그 결과 DeepSeek-V3 같은 거대 모델도 별도의 복잡한 인프라 구성 없이 효율적으로 학습할 수 있다1. GPU가 놀지 않는다는 단순한 원리가 확장성의 핵심이다.
에이전트 인터페이스는 익숙한 Gymnasium 표준을 그대로 따른다. 연구자는 Env.step() 혹은 ChatAgent.run() 안에 보상 함수를 순수 Python으로 작성하기만 하면 된다. 별도의 포맷 변환이나 글루 코드 없이, 그 함수가 곧바로 전체 RL 학습 루프에 연결된다1. LLM을 심판으로 활용하는 다중 턴 평가나 비전-언어 모델(VLM) 환경처럼 복잡한 시나리오도 모두 동일한 API 하나로 처리할 수 있다.
코드베이스 전체를 읽을 수 있는 이유: 토큰 우선 계약
Molt 내부를 관통하는 핵심 설계 원칙은 “토큰 우선 계약(token-first contract)”이다. 롤아웃에서 생성되는 토큰 ID, 로그 확률, 행동 범위, 보상 신호, 멀티모달 텐서 등 모든 데이터가 이 단일 형식으로 정렬되어 학습 단계까지 흐른다1. 중간에 데이터를 변환하거나 인터페이스를 맞추기 위한 글루 코드가 필요하지 않다는 뜻이다.
이러한 설계의 직접적인 결과물은 코드베이스의 크기다. Molt의 RL 코드는 주석과 공백을 제외하고 약 9,200줄의 Python으로 구성되어 있다1. PyTorch에 익숙한 연구자라면 오후 시간만 투자해도 전체 구조를 파악할 수 있는 분량이다. 프레임워크가 블랙박스로 남지 않기 때문에, 디버깅도 수월하고 커스터마이징도 자유롭다.
거대 모델을 위한 확장성: MoE와 FSDP2 병렬 처리
Molt는 소규모 모델을 위한 실험 도구에 그치지 않는다. Mixture-of-Experts(MoE) 모델의 확장을 위해 FSDP2의 전문가 병렬(EP)을 지원하며, --fsdp.ep_size 256 같은 단순한 플래그 설정만으로 1조 파라미터급 모델까지 확장할 수 있다1. 이는 80억 파라미터 모델을 학습하던 스크립트를 거대 MoE 모델에도 거의 그대로 사용할 수 있다는 의미다. 인프라 재구성에 드는 비용을 획기적으로 줄여주는 대목이다.
확장성과 더불어 주목할 점은 학습 안정성에 대한 고려다. Molt는 R3(Router Replay)라는 기능을 내장해, vLLM이 롤아웃 단계에서 선택한 전문가 라우팅을 학습 시에도 그대로 재현한다. 이로써 롤아웃과 학습 사이에서 발생할 수 있는 전문가 불일치 문제를 완화하고, MoE 모델의 RL 학습을 더 안정적으로 만든다1.
결론: 연구 속도라는 하나의 목표
Molt는 모든 유형의 워크로드를 지원하는 범용 프레임워크가 아니다. 대신 “에이전틱 RL 연구의 속도를 극적으로 높인다”는 하나의 목표에 집중했다. 약 9,200줄의 간결한 코드로 SFT부터 1조 파라미터 규모의 MoE 강화 학습까지 커버하는 이 도구는, 연구자가 인프라가 아니라 아이디어에 시간을 쏟도록 만드는 치밀한 설계의 산물이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.