LFM2.5-DSpark: 출력 품질을 유지하며 토큰 생성을 가속하는 방법
온디바이스 AI와 추론 서버에서는 모델 크기뿐 아니라 토큰 생성 속도도 중요하다. LFM2.5-DSpark은 모델 품질을 낮추거나 더 작은 모델로 교체하는 대신, 추측 디코딩으로 타깃 모델의 실행 부담을 줄인다.
작은 모델이 제안하고 타깃 모델이 검증한다
DSpark는 EAGLE 계열의 반자동회귀 추측 디코딩 기술이다. 약 3억 개의 파라미터로 구성된 드래프트 모델이 다음 토큰들을 먼저 제안하면, 타깃 모델이 이를 한 번에 검증한다.1
검증을 통과한 토큰만 채택하기 때문에 일반 디코딩과 동일한 출력을 유지할 수 있다.2 핵심은 타깃 모델 자체를 바꾸는 것이 아니라, 비싼 검증 단계를 더 효율적으로 수행하는 데 있다.
Liquid AI는 다음 모델에 맞춘 LFM2.5-DSpark 체크포인트를 공개했다.
LFM2.5-1.2B-Instruct
LFM2.5-2.6B
LFM2.5-8B-A1B
이 가운데 LFM2.5-8B-A1B는 총 83억 개의 파라미터 중 추론 시 15억 개를 활성화하는 전문가 혼합 모델이다.3
최대 3.18배 향상을 어떻게 해석해야 하나
공개된 측정 결과에서 LFM2.5-8B-A1B는 H100의 MATH500 테스트에서 처리량이 428 tok/s에서 1,362 tok/s로 증가했다. 이는 3.18배 향상이다. LFM2.5-1.2B-Instruct도 M4 Max의 HumanEval 테스트에서 136 tok/s에서 389 tok/s로 2.87배 빨라졌다.1
다만 이 수치를 모든 환경에 적용되는 고정 배율로 해석해서는 안 된다. 추측 디코딩의 가속 효과는 다음 조건에 따라 달라진다.2
생성하는 콘텐츠의 특성
드래프트 토큰이 수용되는 길이
한 번에 검증하는 토큰의 범위
드래프트 생성과 타깃 검증에 드는 상대적 비용
하드웨어와 모델 정밀도
특히 복사나 구조 반복이 많은 코드·수학 콘텐츠는 일반 채팅보다 긴 드래프트가 수용되는 경향이 있다. 따라서 MATH500이나 HumanEval에서 측정된 높은 처리량이 자유 형식 대화에서도 그대로 재현된다고 단정할 수는 없다.
양자화 수준과 가속률도 단순한 비례 관계가 아니다. 비트 수가 낮아지더라도 드래프트 생성 비용과 타깃 검증 비용의 균형에 따라 실제 향상 폭은 달라질 수 있다.2
도입 전에는 최고 배율보다 실제 워크로드를 측정해야 한다
LFM2.5-DSpark 체크포인트는 Hugging Face에서 Safetensors와 GGUF 형식으로 제공된다.1 적용 가능성을 판단할 때는 공개 벤치마크의 최고 수치보다 실제 운영 조건을 기준으로 비교하는 편이 유용하다.
확인할 항목은 다음과 같다.
대표 프롬프트와 출력 유형별 tok/s
첫 토큰 지연시간과 전체 응답시간
드래프트 토큰의 평균 수용 길이
드래프트 모델 추가에 따른 메모리 사용량
정밀도와 하드웨어 조합별 가속률
코드나 수학처럼 반복 구조가 많은 작업과 일반 채팅을 분리해 측정하면, 평균 처리량만으로는 드러나지 않는 차이도 확인할 수 있다.
요약: LFM2.5-DSpark은 타깃 모델이 드래프트 토큰을 검증하는 추측 디코딩을 통해 출력 품질을 유지하면서 생성 속도를 높인다. 공개 결과에서는 최대 3.18배의 처리량 향상을 보였지만, 실제 도입 여부는 콘텐츠 특성, 드래프트 수용 길이, 하드웨어, 정밀도를 반영한 자체 벤치마크로 판단해야 한다.
1Up to 3.2x Faster Inference with LFM2.5-DSpark
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.