LFM2.5-VL-DSpark: 온디바이스 비전 모델의 디코딩을 가속하는 방법
온디바이스 비전 모델은 정확도만큼 응답 속도가 중요하다. Liquid AI가 공개한 LFM2.5-VL-DSpark은 본체 모델을 축소하는 대신, 별도의 소형 드래프트 모델을 추가해 디코딩 병목을 줄이는 실험적 접근이다.
소형 모델이 제안하고 본체가 검증한다
가속 대상인 LFM2.5-VL-3B는 텍스트와 이미지를 모두 처리하는 온디바이스용 멀티모달 모델이다. LFM2.5-2.6B 언어 백본과 4억 파라미터 규모의 SigLIP2 NaFlex 비전 인코더를 결합했다.1
LFM2.5-VL-DSpark은 소형 드래프트 모델이 다음 토큰 후보를 여러 개 제안하고, 본체가 이를 한 번에 검증하는 추측 디코딩을 사용한다. 검증을 통과하지 못한 후보는 본체의 결과로 대체된다. 출력 품질을 의도적으로 낮춰 속도를 높이는 근사 방식과는 차이가 있다.2
드래프트 모델은 어텐션 전용 4개 레이어로 구성되며, 학습 시 블록 크기는 9였다. 파라미터 수는 총 2억 7,950만 개로, 배포 모델의 전체 파라미터 수를 8.9% 늘린다.2 따라서 이 접근의 핵심적인 절충점은 명확하다. 추가 메모리를 사용하는 대신 본체 모델의 디코딩 효율을 높이는 것이다.
가속 배율은 전체 지연 시간이 아니다
M5 Max의 MLX 테스트에서 디코딩 속도는 작업에 따라 2.30~3.13배 향상됐다.2 다만 이 수치를 애플리케이션 전체 처리 속도로 해석해서는 안 된다. 이미지 인코딩, 파일 로딩, 전처리와 같은 단계까지 같은 비율로 빨라진다는 의미는 아니기 때문이다.
도입 여부를 판단할 때는 다음 조건을 함께 살펴봐야 한다.
전체 지연 시간에서 디코딩이 차지하는 비중
드래프트 후보가 본체의 검증을 통과하는 비율
8.9%의 파라미터 증가에 따른 메모리 부담
대상 하드웨어와 실행 프레임워크
생성하는 답변의 일반적인 길이
특히 출력이 길고 디코딩 비중이 큰 작업일수록 가속 효과가 두드러질 가능성이 높다. 반대로 이미지 처리나 전처리가 전체 지연의 대부분을 차지한다면 디코딩 배율만큼의 체감 개선을 기대하기 어렵다. 기존 DSpark 실험에서도 모델 구조와 실행 환경에 따라 속도 향상 폭이 달라졌다.3
문서·이미지 처리 환경에서의 활용 기준
LFM2.5-VL-3B는 큰 이미지를 겹치지 않는 512×512 패치와 축소된 전체 이미지 썸네일로 처리한다. 레이아웃 OCR 결과에는 영역별 라벨, 경계 상자, 콘텐츠를 담을 수 있으며, 표는 OTSL 형식으로 수식은 LaTeX 형식으로 출력할 수 있다.1
이러한 기능을 활용해 문서를 연속 처리하거나 이미지에 대한 긴 답변을 생성한다면 디코딩 가속의 이점을 검토할 수 있다. 다만 실제 도입 전에는 대표 작업으로 전체 지연 시간과 메모리 사용량을 함께 측정해야 한다.
LFM2.5-VL-DSpark은 llama.cpp, MLX-VLM, SGLang을 지원한다.2 이는 모델 자체를 교체하기보다 기존 LFM2.5-VL-3B 배포에 드래프트 모델을 추가해 응답성을 개선하는 선택지다.
요약
LFM2.5-VL-DSpark은 배포 파라미터를 8.9% 늘리는 대신, M5 Max의 MLX 테스트에서 디코딩을 작업별로 2.30~3.13배 가속했다. 추가 메모리를 감당할 수 있고 전체 지연에서 디코딩이 큰 비중을 차지한다면, 온디바이스 비전 서비스의 응답성을 높일 수 있는 현실적인 옵션이다.
1LiquidAI/LFM2.5-VL-3B · Hugging Face
2Accelerating vision-language models with LFM2.5-VL-DSpark
3LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.