인공지능 연구 기업 Liquid AI가 자사의 30억 파라미터 규모 소형 시각-언어 모델(Vision-Language Model, VLM)인 LFM2.5-VL-3B의 추론 속도를 대폭 끌어올리는 초안(드래프트) 모델 LFM2.5-VL-3B-DSpark를 공개했습니다12. 이번 발표는 메모리 점유율을 약 8.9%만 늘리면서도 디코딩 속도를 최대 3.13배 향상시키는 추측 디코딩(Speculative Decoding) 기술을 시각 멀티모달 영역으로 확장한 것이 핵심입니다23.
LFM2.5-VL-3B-DSpark는 오픈 가중치로 배포되며, 엣지 환경과 데이터센터 환경 모두에서 즉시 활용할 수 있도록 주요 오픈소스 추론 엔진 지원을 갖췄습니다23. 모델의 파라미터 크기 대비 높은 성능을 유지하면서도 실시간 상호작용 속도를 대폭 개선할 수 있어, 온디바이스 AI 및 GPU 서빙 환경에서 멀티모달 서비스 효율을 높이려는 개발자들에게 중요한 선택지가 될 전망입니다12.
멀티모달 입력을 단일 텐서로 처리하는 추측 디코딩 원리
추측 디코딩은 가벼운 초안 모델이 다음 여러 개의 토큰 후보를 미리 빠르게 생성(추측)하고, 원본 타깃 모델이 이를 한 번의 연산으로 일괄 검증하는 추론 최적화 기법입니다23. 기존 대규모 언어 모델(LLM)에서는 널리 쓰여왔으나, 텍스트와 이미지 입력이 결합된 시각-언어 모델에서는 두 양식의 특징을 함께 처리해야 하므로 초안 모델의 설계가 까다로웠습니다.
LFM2.5-VL-3B-DSpark는 타깃 모델의 특정 레이어에서 출력되는 은닉 상태(Hidden State)를 직접 활용(Tap)하는 방식을 채택했습니다23. 시각-언어 모델 내부에서는 이미지 패치와 텍스트 토큰이 초기 변환을 거쳐 동일한 다차원 텐서(Tensor)로 표현됩니다2. 따라서 초안 모델은 입력이 텍스트인지 이미지인지 구분할 필요 없이 동일한 차원의 은닉 상태를 바탕으로 다음 $k$개의 토큰을 추측할 수 있습니다23.
초안 모델의 구조는 4개의 풀 어텐션(Full Attention) 레이어와 은닉 상태 프로젝션, 마르코프 헤드, 신뢰도 헤드로 간결하게 구성되었습니다23. 전체 매개변수 수는 279.5M(약 2억 8천만 개)으로, 3B 규모의 원본 모델과 함께 메모리에 올려도 전체 파라미터 증가율은 8.9%에 불과합니다23. 또한 그리디 디코딩(Greedy Decoding, 온도 값 0) 조건에서는 타깃 모델이 초안 토큰을 엄격하게 검증하므로 원본 모델만 단독으로 실행했을 때와 100% 동일한 출력 결과를 생성합니다12.
하드웨어별 실측 성능과 벤치마크 결과
Liquid AI가 자사 벤치마크 인프라를 통해 측정한 결과에 따르면, LFM2.5-VL-3B-DSpark는 온디바이스 칩셋과 데이터센터 GPU 모두에서 뚜렷한 디코딩 속도 향상을 기록했습니다2. 성능 평가는 일반 VQA, 텍스트 VQA, 이미지 캡셔닝, 차트 분석, 복합 추론, 다자간 대화 등 6개 시각 벤치마크 작업(MMSpec 기준)을 바탕으로 단일 배치(Batch size 1), 온도 0 조건에서 수행되었습니다23.
애플 실리콘 환경에서는 MLX-VLM 프레임워크를 적용한 Apple M5 Max에서 작업별로 2.30배에서 최대 3.13배(COCO 캡셔닝 기준)의 디코딩 속도 향상을 기록했습니다23. llama.cpp를 사용한 M3 Ultra 환경에서도 디코딩 속도가 1.57배에서 2.14배 개선되었습니다23.
클라우드 및 데이터센터 환경인 단일 H100 80GB GPU(SGLang 프레임워크) 환경에서는 디코딩 속도가 2.04배에서 최대 2.66배 빨라졌습니다23. 한 번의 검증 패스당 승인되는 평균 초안 토큰 수(Draft Acceptance)는 하드웨어와 무관하게 3.2개에서 4.57개 수준으로 유지되어, 초안 모델이 생성하는 후보 토큰의 신뢰도가 전반적으로 높게 나타났습니다2.
| 하드웨어 및 런타임 | 블록 크기 (Block size) | 디코딩 속도 향상 | 엔드투엔드 지연시간 개선 | 검증당 평균 승인 토큰 수 |
|---|---|---|---|---|
| Apple M5 Max (MLX-VLM) | 8 | 2.30× ~ 3.13× | 1.56× ~ 2.62× | 3.24 ~ 4.34개 |
| H100 80GB (SGLang) | 9 | 2.04× ~ 2.66× | 1.64× ~ 2.27× | 3.46 ~ 4.57개 |
| Apple M3 Ultra (llama.cpp) | 8 | 1.57× ~ 2.14× | 1.30× ~ 1.77× | 3.31 ~ 4.50개 |
암달의 법칙과 엣지 VLM의 구조적 한계
디코딩 단계의 큰 가속에도 불구하고, 전체 요청 처리 시간(End-to-End Latency)의 개선율은 디코딩 속도 향상 폭보다 다소 낮게 측정됩니다23. 예컨대 Apple M5 Max에서 디코딩 속도가 3.13배 빨라졌을 때 실제 엔드투엔드 개선율은 2.59배였습니다2.
이러한 차이가 발생하는 이유는 시각-언어 모델의 연산 구조와 암달의 법칙(Amdahl's law) 때문입니다23. VLM 추론은 크게 이미지를 처리하는 비전 인코딩(Vision Encoding), 텍스트와 비전 토큰을 입력받는 프리필(Prefill), 그리고 답변을 한 글자씩 생성하는 디코딩(Decoding) 단계로 나뉩니다23.
추측 디코딩은 오직 디코딩 단계만을 가속하며, 비전 인코딩과 프리필 단계에는 영향을 주지 않습니다23. 특히 데이터센터 GPU에 비해 컴퓨팅 처리량이 낮은 온디바이스 환경에서는 수백 개의 시각 토큰을 인코딩하고 처리하는 프리필 단계가 전체 실행 시간에서 큰 비중을 차지합니다23. 따라서 전체 지연 시간 중 프리필이 차지하는 비율이 높을수록 디코딩 가속을 통한 최종 체감 속도 향상은 제한될 수밖에 없습니다23.
개발 생태계 지원 및 도입 판단 기준
LFM2.5-VL-3B-DSpark는 별도의 복잡한 변환 없이 바로 프로덕션 환경에 통합할 수 있도록 첫날부터 다양한 오픈소스 프레임워크 지원을 제공합니다12.
SGLang: v0.5.19 이상에서
--speculative-algorithm DSPARK인자를 통해 NVIDIA GPU 서버 환경에서 고성능 서빙을 구성할 수 있습니다2.MLX-VLM: v0.7.2 이상에서
--draft-model플래그를 추가해 애플 실리콘 환경에서 네이티브로 가속할 수 있습니다2.llama.cpp: GGUF 형식의 양자화/비양자화 체크포인트를 통해 CPU 및 임베디드 엣지 기기에서 배포 가능합니다23.
이 모델은 생성해야 할 텍스트 길이가 긴 작업에서 도입 효과가 가장 극대화됩니다2. 이미지에 대한 상세 설명 생성, 복합 시각 추론, 다자간 대화처럼 디코딩 토큰 수가 수십~수백 개에 달하는 워크로드에서는 큰 폭의 처리량 개선과 응답 지연 감소를 얻을 수 있습니다2. 반면 단답형 VQA나 단순 라벨링처럼 출력 토큰이 1~2개에 불과한 작업에서는 프리필 단계가 지연 시간의 대부분을 차지하므로 추측 디코딩 추가에 따른 이점이 크지 않을 수 있습니다23.
참고
2LiquidAI/LFM2.5-VL-3B-DSpark · Hugging Face
3LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.