온디바이스 AI를 볼 때 핵심 질문은 “모델이 얼마나 큰가”가 아닙니다. 실제로는 “내 기기에서 감당 가능한 계산량으로, 충분히 긴 문맥을 다루며, 쓸 만한 품질을 낼 수 있는가”가 더 중요합니다.
Liquid AI의 LFM2.5-8B-A1B는 이 기준에 맞춰 설계된 온디바이스 MoE 모델입니다. 총 83억 개 파라미터를 갖지만, 추론 시에는 15억 개의 활성 파라미터만 사용합니다.1 즉 전체 모델 용량은 크게 가져가면서도, 매번 모든 파라미터를 계산하지 않는 방식입니다.
핵심은 ‘전체 크기’가 아니라 ‘활성 계산량’이다
LFM2.5-8B-A1B의 이름에서 눈에 띄는 부분은 8B와 A1B입니다. 8B는 전체 파라미터 규모를, A1B는 추론 시 활성화되는 파라미터 규모를 가리킵니다. MoE는 여러 전문가 중 필요한 일부만 선택해 쓰는 구조이기 때문에, 전체 용량과 실제 계산량을 분리할 수 있습니다.
이 점이 온디바이스 AI에서 중요합니다. 로컬 환경에서는 GPU 메모리, 배터리, 발열, 응답 속도 같은 제약이 큽니다. 따라서 단순히 “큰 모델”보다, 제한된 자원 안에서 얼마나 효율적으로 동작하는지가 실사용 가능성을 좌우합니다.
LFM2.5-8B-A1B는 이 균형을 노립니다. 개인 비서, 도구 호출, 구조화 출력, 로컬 에이전트처럼 기기 안에서 반복적으로 추론해야 하는 작업에 적합한 방향입니다.
하이브리드 구조로 속도와 문맥 처리를 함께 노린다
LFM2.5는 온디바이스 배포를 목표로 설계된 하이브리드 모델 제품군입니다. LFM2 아키텍처를 기반으로 확장 사전학습과 강화학습을 추가했습니다.1
LFM2.5-8B-A1B는 텍스트 전용 범용 모델이며, 24개 레이어로 구성됩니다. 이 중 18개는 double-gated LIV conv, 6개는 GQA 레이어입니다.1 대부분의 레이어는 빠른 처리에 유리한 구조를 사용하고, 일부 레이어에서 attention 기반 처리를 담당하는 구성으로 이해할 수 있습니다.
컨텍스트 길이도 중요한 차별점입니다. 이 모델은 131,072토큰 컨텍스트를 지원합니다.1 긴 문서, 대화 기록, 도구 실행 결과를 한 번에 넣어야 하는 로컬 에이전트나 개인 비서형 애플리케이션에서는 큰 장점이 될 수 있습니다. 학습 예산은 38조 토큰으로 공개됐습니다.1
Base와 추론 튜닝 모델을 구분해야 한다
LFM2.5-8B-A1B 계열을 볼 때는 모델 용도도 구분해야 합니다. LFM2.5-8B-A1B-Base는 파인튜닝을 위한 사전학습 베이스 모델입니다.1 반면 LFM2.5-8B-A1B는 추론 튜닝된 범용 모델입니다.1
따라서 바로 대화형 애플리케이션이나 에이전트 워크플로에 적용하려면 추론 튜닝 모델을 우선 검토하는 편이 자연스럽습니다. 반대로 특정 도메인이나 내부 데이터에 맞춰 추가 학습을 계획한다면 Base 모델이 더 적합할 수 있습니다.
적용 전에는 런타임과 작업 유형을 함께 봐야 한다
LFM2.5-8B-A1B는 Transformers, vLLM, SGLang, llama.cpp, MLX, ONNX 등 다양한 포맷과 런타임을 지원합니다.1 온디바이스 배포를 고려한다면 이 점은 실무적으로 중요합니다. 같은 모델이라도 실행 환경에 따라 속도, 메모리 사용량, 기능 호환성이 달라질 수 있기 때문입니다.
특히 도구 호출이나 구조화 출력처럼 파서와 런타임 연동이 중요한 작업은 사전 검증이 필요합니다. 초기 도구 호출 연동에서는 파서 호환성 이슈가 보고된 바 있습니다.2 실제 서비스에 넣기 전에는 목표 디바이스와 런타임 조합에서 응답 품질, 지연 시간, 메모리 사용량을 함께 테스트해야 합니다.
또한 이 모델이 모든 작업에 최적이라는 뜻은 아닙니다. Liquid AI는 에이전트 워크플로, 도구 사용, 구조화 출력, 다국어 비서, 온디바이스 개인 비서 같은 용도를 제시합니다.1 반면 검색 없이 수행하는 무거운 지식 질의응답이나 고난도 프로그래밍에는 최적 선택이 아닐 수 있습니다.1
온디바이스 모델을 평가하는 기준이 바뀐다
LFM2.5-8B-A1B의 의미는 단순히 “작은 모델이 나왔다”가 아닙니다. 전체 파라미터 규모, 활성 파라미터 수, 긴 컨텍스트, 하이브리드 구조, 런타임 지원을 함께 묶어 온디바이스 AI의 실사용 가능성을 보여준 사례에 가깝습니다.
앞으로 로컬 AI 모델을 평가할 때는 전체 파라미터 수만 보면 부족합니다. 실제로 봐야 할 것은 다음과 같습니다.
추론 시 활성 파라미터가 얼마나 되는가
목표 기기에서 실행 가능한 런타임이 있는가
긴 문맥을 안정적으로 처리할 수 있는가
도구 호출과 구조화 출력 같은 실제 워크플로에 맞는가
Base 모델과 추론 튜닝 모델 중 어떤 것이 목적에 맞는가
LFM2.5-8B-A1B는 온디바이스 AI가 “가능한가”를 넘어 “어떤 기준으로 고를 것인가”라는 질문으로 이동하고 있음을 보여줍니다. 로컬 에이전트나 개인 비서형 AI를 검토한다면, 이제 모델의 총 크기보다 실제 활성 계산량과 배포 가능성을 먼저 확인해야 합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.