비전-언어 모델은 이미지와 텍스트를 함께 이해하는 AI입니다. 문서 사진을 읽고, 차트를 해석하고, 이미지 속 사물을 세거나, 다이어그램에 대한 질문에 답할 수 있습니다. 하지만 입력이 길어질수록 비용이 급격히 커지는 문제가 있습니다.
Zyphra가 공개한 Zamba2-VL은 이 병목을 줄이는 데 초점을 둔 오픈 비전-언어 모델 제품군입니다. 1.2B, 2.7B, 7B 세 가지 크기로 제공되며 Apache 2.0 라이선스로 배포됩니다.1
왜 VLM에서 지연시간이 중요한가
Zamba2-VL을 이해할 때 핵심 지표는 TTFT입니다. TTFT는 사용자가 입력을 보낸 뒤 첫 토큰이 출력되기까지 걸리는 시간입니다. 실제 서비스에서는 전체 생성 속도만큼이나 첫 응답이 언제 시작되는지가 체감 품질을 좌우합니다.
특히 비전-언어 모델은 입력 토큰이 쉽게 길어집니다. 고해상도 이미지 한 장은 수천 개의 비전 토큰을 만들 수 있고, 짧은 영상도 수만 개 토큰으로 늘어날 수 있습니다.1 일반 Transformer의 어텐션은 토큰 길이가 길어질수록 비용이 크게 증가하기 때문에, 이런 멀티모달 입력에서 확장성 문제가 두드러집니다.
Zamba2-VL의 구조적 차이
Zamba2-VL은 Mamba2 상태공간 모델과 Transformer를 결합한 하이브리드 백본을 사용합니다.1 목표는 Transformer의 장점을 유지하면서 긴 입력을 처리할 때 생기는 지연시간과 메모리 부담을 줄이는 것입니다.
Zyphra는 Zamba2 백본의 프리필이 거의 선형 시간에 가깝고, 어텐션의 커지는 KV 캐시 대신 거의 일정한 크기의 순환 상태를 사용한다고 설명합니다.1 즉, 모든 토큰 쌍을 계속 비교하는 방식에만 의존하지 않고, 정보를 고정 크기 상태로 이어받아 처리하는 구조입니다.
모델 구성은 LLaVA식 VLM 템플릿을 따릅니다. 비전 인코더가 이미지 특징을 만들고, 어댑터가 이를 언어 모델 입력 공간에 맞춘 뒤, 언어 모델이 이미지와 텍스트 정보를 함께 처리합니다.1
성능은 어디까지 확인됐나
Zamba2-VL은 차트, 다이어그램, 문서 이해, 일반 지각·추론, 시각적 카운팅을 포함한 14개 벤치마크에서 평가됐습니다.1 Zyphra는 비슷한 크기의 오픈 Transformer 기반 VLM과 경쟁 가능한 성능을 보였고, 특히 카운팅과 문서·차트 계열에서 강점을 보였다고 보고했습니다.1
예를 들어 1.2B 모델은 PixMoCount에서 62.5점을 기록했습니다. 같은 표에서 InternVL3.5-1B는 32.8점, PerceptionLM-1B는 17.7점입니다.2 특정 벤치마크 하나로 모델 전체를 평가할 수는 없지만, 작은 모델에서도 시각적 카운팅 과제에서 경쟁력이 있음을 보여주는 신호입니다.
적용 관점: 긴 입력과 엣지 배포
Zyphra가 강조한 조건은 32k 토큰 프리필입니다. 이 조건에서 Zamba2-VL은 모든 모델 크기에서 점수 대비 TTFT 그래프의 저지연·고점수 영역에 위치했다고 합니다.1
이는 긴 문서 이미지, 다중 이미지 입력, 영상 프레임처럼 토큰 수가 커지는 작업에서 의미가 있습니다. 특히 1.2B와 2.7B 모델의 지연시간 이점은 온디바이스와 엣지 배포를 고려할 때 더 중요합니다.1 작은 모델일수록 제한된 연산 자원에서 첫 응답을 빠르게 시작하는 능력이 실제 사용성을 크게 바꿀 수 있기 때문입니다.
다만 모델 선택 기준은 단순히 “새로운 구조인가”가 아닙니다. 실제 업무 데이터에서 정확도, TTFT, 메모리 사용량, 배포 환경의 커널 지원을 함께 확인해야 합니다. Zamba2-VL의 의미는 Transformer 중심의 VLM 설계에 더 빠른 긴 입력 처리를 겨냥한 대안을 추가했다는 데 있습니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.