LFM2.5-DSpark: 추측 디코딩으로 LLM 응답 속도 높이기
LLM의 응답 속도는 연산 능력만으로 결정되지 않는다. 디코딩 단계에서는 모델 가중치를 DRAM에서 SRAM으로 전송하는 비용이 병목이 되기 쉽다. Liquid AI가 공개한 LFM2.5-DSpark은 이 병목을 줄이기 위해 LFM2.5에 추측 디코딩을 적용하는 드래프트 모델이다.1
요약: LFM2.5-DSpark은 작은 모델이 후보 토큰을 만들고 LFM2.5가 여러 후보를 한 번에 검증하도록 한다. 동일한 그리디 출력을 유지하면서 디코딩 속도를 최대 3.18배 높였다.
작은 모델이 제안하고 LFM2.5가 검증한다
추측 디코딩에서는 가벼운 드래프트 모델이 여러 후보 토큰을 먼저 생성한다. 타깃 모델은 이 후보들을 한 번의 순전파로 검증하고, 수용되지 않은 후보는 직접 생성한 토큰으로 대체한다. 그리디 디코딩에서는 이 과정을 거쳐도 기본 LFM2.5와 동일한 최종 출력을 얻는다.1
Liquid AI는 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B를 위한 드래프트 모델 3종을 공개했다. 각 모델의 규모는 약 2억9,600만~3억2,800만 매개변수다.1
성능의 관건은 후보 품질과 검증 범위다
드래프트 모델이 많은 토큰을 제안하더라도 수용률이 낮으면 검증 비용이 이점을 상쇄할 수 있다. 이를 조절하기 위해 LFM2.5-DSpark은 세 가지 요소를 결합한다.1
병렬 백본: 여러 후보 토큰을 병렬로 생성한다.
순차형 마르코프 헤드: 직전에 샘플링한 토큰을 반영해 인접한 드래프트 토큰 사이에 의존성을 추가한다.
신뢰도 기반 검증 스케줄러: 검증 비용이 기대 효율을 넘어서는 저신뢰도 접미 토큰을 제거한다.
초기 드래프트 모델은 어텐션 전용 구조로, 5개 레이어와 블록 크기 9를 사용한다. 학습 데이터에는 지도 미세조정, 채팅, 코드, 함수 호출 데이터가 포함됐으며, 각 모델은 전체 데이터로 15에포크 동안 훈련됐다.1
체크포인트 선택 기준도 실용적이다. Liquid AI는 검증 손실이 가장 낮은 에포크가 아니라 벤치마크에서 토큰 수용률이 가장 높은 에포크를 공개 체크포인트로 선택했다. 추측 디코딩에서는 일반적인 학습 지표보다 후보가 실제로 얼마나 수용되는지가 운영 성능과 더 직접적으로 연결되기 때문이다.1
최고 속도보다 실제 배포 조건이 중요하다
단일 H100에서는 최대 3.18배, M4 Max에서는 최대 2.87배의 속도 향상이 측정됐다. 다만 8B-A1B의 M4 Max 평균 향상은 1.18배였다. 모델 구조와 실행 백엔드, 동시 요청 수에 따라 후보 생성과 검증의 비용이 달라질 수 있음을 보여준다.1
따라서 도입 여부를 판단할 때는 최대 속도 수치만 보지 말고 다음 항목을 함께 측정해야 한다.
실제 워크로드의 후보 토큰 수용률
첫 토큰 이후의 디코딩 지연시간과 처리량
드래프트 모델 추가에 따른 메모리 사용량
목표 하드웨어와 실행 백엔드
동시 요청 수에 따른 성능 변화
LFM2.5-DSpark이 보여주는 핵심은 타깃 모델 자체를 바꾸지 않아도 디코딩 경로를 함께 설계해 체감 성능을 높일 수 있다는 점이다. SGLang과 llama.cpp 지원이 제공되므로 GPU 서버와 Apple Silicon 환경에서 실제 워크로드를 기준으로 효과를 검증할 수 있다.2
1LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.