멀티모달 에이전트의 경쟁력은 이제 “이미지를 볼 수 있는가”에서 끝나지 않습니다. 더 중요한 질문은 “본 것을 추론, 계획, 도구 사용, 실행으로 얼마나 안정적으로 연결하는가”입니다.
GLM-5V-Turbo는 이 문제를 정면으로 다루는 모델입니다. Z.ai와 칭화대가 개발한 멀티모달 에이전트용 파운데이션 모델로, 이미지·영상·웹페이지·문서·GUI를 복합 입력으로 처리하도록 설계됐습니다.1 핵심은 시각 인식을 언어 모델의 보조 기능이 아니라 에이전트 실행 과정의 일부로 통합한다는 점입니다.
GLM-5V가 겨냥하는 문제: 보는 것에서 실행하는 것으로
일반적인 멀티모달 모델 평가는 이미지 설명이나 질의응답 성능에 머무르기 쉽습니다. 하지만 에이전트 환경에서는 요구 수준이 다릅니다. 웹페이지를 읽고, 문서의 구조를 파악하고, GUI에서 버튼 위치를 이해한 뒤, 그 정보를 바탕으로 다음 행동을 결정해야 합니다.
예를 들어 GUI 에이전트가 버튼의 위치나 상태를 잘못 인식하면 이후의 언어 추론이 아무리 좋아도 작업은 실패합니다. 따라서 멀티모달 에이전트에서 시각 모듈은 “입력 인터페이스”가 아니라 계획과 실행의 신뢰도를 좌우하는 기반입니다.
GLM-5V-Turbo가 시각 인식을 추론·계획·도구 사용·실행의 핵심 구성요소로 통합한다고 설명되는 이유도 여기에 있습니다.1
<|image|>는 이미지를 버리는 토큰이 아니다
GLM-5V에서 특히 흥미로운 설계는 Multimodal Multi-Token Prediction, 즉 MMTP와 관련된 부분입니다. MTP는 다음 토큰 하나만 예측하는 대신 여러 토큰을 예측해 학습과 추론 효율을 높이는 접근입니다.
여기서 문제가 생깁니다. 멀티모달 모델에서는 텍스트 토큰뿐 아니라 이미지에서 나온 시각 토큰도 함께 다뤄야 합니다. 그렇다면 MTP 헤드에 실제 시각 임베딩을 그대로 넘겨야 할까요?
GLM-5V-Turbo는 다른 선택을 합니다. 실제 시각 임베딩을 직접 전달하는 대신, 모든 시각 토큰을 공유 학습 토큰인 <|image|>로 대체합니다.2
이 방식은 단순한 축약이 아닙니다. 논문은 이 설계가 파이프라인 병렬 처리에서 시각 임베딩을 계속 전달해야 하는 부담을 줄여 통신 복잡도를 낮춘다고 설명합니다. 또한 0.5B 모델 실험에서 실제 시각 임베딩을 직접 사용하는 방식보다 학습 손실이 낮고 수렴이 더 안정적이었다고 보고합니다.2
따라서 <|image|>는 “이미지를 무시한다”는 뜻이 아닙니다. 시각 토큰의 위치와 존재는 유지하되, 예측 헤드가 처리하기 쉬운 형태로 입력을 정리하는 장치에 가깝습니다. 멀티모달 모델 설계에서 성능만큼 중요한 시스템 효율과 학습 안정성을 함께 고려한 선택입니다.
좋은 멀티모달 에이전트는 좋은 비전 인코더에서 시작된다
토큰 처리 전략만으로는 충분하지 않습니다. 모델이 처음부터 시각 정보를 잘 읽어야 합니다. GLM-5V-Turbo의 비전 인코더는 CogViT이며, 일반 객체 인식, 세밀한 시각 이해, 기하·공간 지각을 목표로 설계됐습니다.3
CogViT의 1단계 사전학습은 224×224 해상도 이미지에 35% 마스킹 비율을 적용한 마스크 이미지 모델링을 사용합니다. 이 과정에서 SigLIP2는 의미 표현 교사 모델로, DINOv3는 텍스처 특징 교사 모델로 활용됩니다.3
학습 데이터 구성도 목적이 분명합니다. 고품질 자연 이미지 80%, 지시 수행 데이터 10%, 과학 이미지 10%로 혼합해 일반 이미지 인식뿐 아니라 지시 이해와 전문적 시각 자료 처리까지 고려합니다.3
또 하나의 안정화 장치는 QK-Norm입니다. CogViT는 어텐션 계산 전에 쿼리와 키 벡터를 정규화해 로그잇 폭주를 완화합니다.3 이는 대규모 비전 인코더 학습에서 안정성을 높이는 설계로 볼 수 있습니다.
GLM-5V에서 읽어야 할 실용적 교훈
GLM-5V-Turbo의 의미는 특정 토큰 하나에만 있지 않습니다. 중요한 것은 멀티모달 에이전트를 설계하고 평가할 때 무엇을 봐야 하는지입니다.
첫째, 시각 인식은 언어 모델에 붙는 부가 기능이 아니라 실행 품질을 결정하는 핵심 요소입니다. 둘째, 시각 정보를 그대로 많이 전달하는 것이 항상 최선은 아닙니다. <|image|>처럼 계산과 통신 비용을 줄이면서 학습 안정성을 높이는 표현 방식도 중요합니다. 셋째, 최종 성능은 비전 인코더의 학습 목표, 데이터 구성, 안정화 기법과 함께 봐야 합니다.
결국 GLM-5V의 <|image|> 설계는 멀티모달 에이전트의 다음 기준을 보여줍니다. 좋은 모델은 이미지를 “보는” 데서 멈추지 않고, 그 시각 정보를 안정적으로 압축하고, 추론과 실행에 연결할 수 있어야 합니다.
1GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents
2GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents
3GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.