Meta AI가 Muse Glimmer를 Apache 2.0 라이선스로 공개했다1. 300억 파라미터 모델을 24GB VRAM의 소비자 GPU 하나로 실행할 수 있다는 점이 주목받지만, 이는 단순한 사양 축소가 아니라 ‘로컬 에이전트’라는 패러다임을 처음부터 염두에 둔 설계의 결과다.
‘로컬’과 ‘에이전트’가 만나면 무엇이 달라지는가
챗봇에 최적화된 모델은 한 턴의 빠른 응답에 집중한다. 반면 에이전트는 파일 정리, 일정 관리, 코드 디버깅처럼 긴 호흡의 작업을 여러 단계로 수행해야 한다. 클라우드에 의존하면 네트워크 지연, 비용 부담, 개인 데이터 유출 우려가 따라붙는다.
Muse Glimmer는 ‘항상 켜져 있는 로컬 에이전트’를 전제로 설계되었다1. 개인 문서나 자격 증명이 기기를 떠나지 않으므로 프라이버시 문제에서 자유롭다. 120K 토큰이 넘는 컨텍스트 윈도우는 장시간 작업에서도 맥락을 유지하는 기반이 된다3. 모델은 2B 규모의 ViT 스타일 인식 인코더와 28B 텍스트 디코더로 구성된 dense 멀티모달 구조로, 스크린샷, 차트, 문서 등 다양한 입력을 처리한다2.
30B 모델을 어떻게 소비자 GPU에 올렸나
핵심은 두 가지다. 양자화로 메모리를 줄이고, 추론적 디코딩으로 속도를 확보한다.
전체 정밀도에서는 55GB 이상의 메모리를 요구하지만, 약 4비트 양자화를 적용하면 20GB 미만으로 압축된다1. 덕분에 모델과 작업 메모리, 이미지 인코더를 24GB VRAM 안에 동시에 올릴 수 있다. 경량화는 여기서 그치지 않는다. 아키텍처 자체가 효율을 고려해 설계되었는데, 28B 텍스트 디코더는 2048 토큰의 슬라이딩 윈도우 어텐션 3개와 풀 어텐션 1개를 교차 배치한 하이브리드 어텐션 패턴을 13회 반복해 총 52개 레이어로 구성했다. 또한 Gated Grouped-Query Attention을 적용해 KV-캐시 메모리를 16분의 1로 줄여 생성 속도를 더욱 높인다2.
여기에 DFlash 기반의 경량 드래프터 모델을 통한 추론적 디코딩이 더해진다. 드래프터가 토큰 블록을 먼저 제안하면 메인 모델이 이를 병렬로 검증하는 방식으로, 출력 품질 저하 없이 표준 생성 대비 최대 3.1배 빠른 텍스트 생성을 달성한다1.
‘가장 똑똑한 모델’보다 ‘가장 오래 실행할 수 있는 모델’
Muse Glimmer는 특정 벤치마크에서 동급 최고를 노리기보다, 일관된 명령 수행과 장기 작업 안정성에 무게를 뒀다. 도구 호출 실패 시 재시도하는 복구 능력, 100개 이상 언어 지원 등은 실제 에이전트가 마주칠 상황을 염두에 둔 선택이다1. 평가 결과에서도 Gemma4-31B, Qwen3.6-27B 대비 에이전트 작업 전반에서 강점을 보인다2.
무엇보다 이 모델은 ‘가능성의 증명’에 가깝다. 30B 규모로도 로컬에서 실용적인 에이전트를 구동할 수 있음을 보여줬으며, llama.cpp, MLX, ExecuTorch 등 익숙한 도구와의 통합이 예정되어 있어 진입 장벽도 낮다1. ‘오픈 웨이트 + 소비자 GPU 구동’이라는 조합은 개인화된 AI 비서를 클라우드 비용 없이, 데이터 프라이버시를 유지하며 실험할 수 있는 구체적인 출발점이다. 모델을 직접 받아서 돌려보는 것만으로도 에이전트 AI가 어디까지 왔는지를 체감할 수 있다.
1Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device
2Meta is back with Muse Glimmer: local, agentic, multimodal, and open source!
3Run Local Agentic AI Workflows with Meta's Muse Glimmer on NVIDIA
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.