Muse Glimmer: 기기 안에서 작동하는 멀티모달 AI 에이전트

AI 에이전트가 일정, 문서, 화면을 다루려면 개인 정보와 업무 데이터에 깊이 접근해야 한다. 이를 클라우드가 아니라 사용자 기기에서 처리하면 민감한 데이터의 외부 전송을 줄이고 오프라인에서도 작업을 이어갈 수 있다. Meta가 공개한 Muse Glimmer는 이러한 로컬·상시 실행 워크플로를 겨냥한 모델이다.

30B급 모델의 목표는 로컬 챗봇이 아니다

Muse Glimmer는 약 296억 개 파라미터를 가진 밀집형 인과 언어 모델이다. 요청마다 일부 전문가 모델만 선택하는 구조가 아니라 전체 모델을 활용한다. 가중치는 Apache 2.0 라이선스로 공개돼 수정과 상업적 활용이 비교적 자유롭다.¹²

이 모델의 핵심은 단순한 질의응답보다 에이전트 작업에 있다. 긴 작업을 계획하고 도구를 호출하며, 오류의 원인을 판단해 다시 시도하는 지속적 워크플로에 맞춰 최적화됐다.¹ 실제로 작성자는 LM Studio에서 18.16GB 버전을 실행했다. 다만 모델 파일을 불러올 수 있다는 사실만으로 실제 업무에 충분한 속도와 안정성이 보장되는 것은 아니다.

이미지와 긴 문맥이 에이전트 작업을 뒷받침한다

Muse Glimmer는 텍스트와 이미지를 교차 배치한 입력을 받아 텍스트를 출력한다. 이미지 처리는 동결된 ViT-G/14 지각 인코더가 담당한다. 여기서 ‘동결’은 학습 중 해당 인코더의 가중치를 변경하지 않았다는 의미다.²

이미지 한 장당 최대 4,096개의 시각 토큰을 지원하며, 입력과 출력을 합친 컨텍스트 길이는 131,072토큰 이상이다.² 이 조합은 화면 캡처를 분석해 도구를 조작하거나, 긴 문서와 대화 기록을 유지하면서 여러 단계의 작업을 수행하는 데 유용하다.

학습 방식도 이러한 목표에 맞춰 구성됐다. 사전 학습에서는 상위 모델인 Muse Spark의 출력을 활용한 로짓 증류를 적용했다. 중간 학습에는 긴 컨텍스트, 에이전트 중심 데이터, 풍부한 추론 과정이 사용됐고, 후속 학습에서는 지도 미세조정과 온폴리시 증류, 강화학습을 결합했다.¹ 즉, 더 큰 모델의 작업 수행 방식을 기기에서 실행 가능한 모델로 옮기려는 접근이다.

로컬 실행 가능성과 업무 신뢰성은 별개다

독립 평가에서는 도구 사용 능력이 동급 모델보다 강한 사례가 있었지만, 현실적인 지식 작업과 환각 관련 지표에서는 약점도 나타났다.³ 또한 100개가 넘는 언어의 데이터로 학습됐지만, 구체적인 데이터셋 이름과 규모는 공개되지 않았다.²

따라서 도입 여부를 판단할 때는 모델 크기와 실행 가능 여부만 확인해서는 부족하다. 실제 환경에서 다음 항목을 함께 검증해야 한다.

• 필요한 하드웨어에서의 응답 속도와 메모리 사용량

• 도구 호출의 정확성과 권한 통제 방식

• 작업 실패를 감지하고 복구하는 능력

• 긴 작업에서 발생하는 환각과 오류 누적

• 민감한 파일, 화면, 개인 정보의 처리 범위

요약: Muse Glimmer를 어떻게 평가해야 하나

Muse Glimmer의 의미는 단순히 “30B급 모델이 로컬에서 실행된다”는 데 있지 않다. 이미지와 긴 문맥을 활용해 실제 업무 흐름을 끝까지 수행하는 로컬 AI 에이전트를 지향한다는 점이 핵심이다. 적용할 때는 로컬 실행 자체보다 도구 사용의 정확성, 실패 복구, 환각, 민감 정보 통제를 중심으로 검증해야 한다.

¹Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device

²meta / muse-glimmer-30b

³Muse Glimmer: Benchmarks and Analysis