작은 모델이 다시 주목받는 이유
생성형 AI의 무게 중심이 클라우드에서 디바이스로 이동하고 있다. 기업들은 데이터 주권과 지연 시간, 운영 비용이라는 삼중 압박 속에서 로컬 추론의 필요성을 절감하지만, 현실은 녹록지 않다. 대부분의 소형 언어 모델은 트랜스포머의 셀프 어텐션 방식에 묶여 컨텍스트가 길어질수록 메모리 요구량이 기하급수적으로 늘어나기 때문이다. 긴 문서를 읽거나 여러 단계의 에이전트 작업을 수행하려면 결국 고사양 GPU가 강제되고, 진정한 온디바이스 전략은 요원해진다.
이런 배경에서 최근 공개된 LFM2.5-2.6B는 접근법 자체를 전환한다. 더 작게 만드는 미세 조정이 아니라, 연산의 구조를 바꾸는 아키텍처 혁신으로 하드웨어 장벽을 낮춘 사례다.
선형 재귀와 상태 공간 모델링이 가져온 연산 효율
트랜스포머가 시퀀스 길이에 비례해 어텐션 맵을 키우는 것과 달리, 이 모델은 선형 재귀와 고급 상태 공간 모델링을 결합해 일정한 크기의 상태만 유지한다. 입력 토큰이 늘어나도 메모리 점유율이 선형적으로 유지되므로, 제한된 하드웨어에서 장문 컨텍스트를 다루는 데 결정적인 우위를 갖는다.
이런 설계는 최소 시스템 요구 사양에서도 성과로 드러난다. 4비트 양자화 시 메모리 점유율을 2GB 미만으로 낮출 수 있어 라즈베리 파이 5나 구형 맥북 에어에서도 구동 가능하다는 점은, 지금까지 로컬 AI 진입을 가로막던 하드웨어 허들을 한 단계 낮추는 지점이다.
실제 측정 결과도 이를 뒷받침한다. 128K 컨텍스트 윈도우를 탑재한 이 모델은 Apple M5 Max에서 초당 220토큰, AMD Ryzen AI Max+ 395 CPU에서는 초당 113토큰의 디코딩 속도를 기록했다. 소비자급 기기에서 이 정도 응답성을 확보했다는 사실은, 에이전트를 상시 가동해야 하는 시나리오에 중요한 분수령이 된다.
사후 훈련이 완성하는 에이전트 전용 두뇌
아키텍처만으로 실전 에이전트가 탄생하지는 않는다. 이 모델이 주목받는 또 다른 이유는 기본 모델을 에이전트에 특화시키는 사후 훈련 파이프라인에 있다. 훈련은 SFT, 전문가 특화, MOPD, 에이전틱 RL의 순서로 진행된다.
SFT 단계에서는 도구 사용과 웹 검색, 소프트웨어 엔지니어링, 에이전트 추적 영역에 무게를 둔다. 이어지는 MOPD 단계는 교사-학생 증류 방식이지만, 동일한 SFT 체크포인트에서 분기된 도메인별 전문가가 학생이 직접 생성한 응답을 토큰 수준에서 교정한다는 점이 특이하다. 교사와 학생이 같은 기반에서 학습하므로 분포 불일치 문제가 줄고 수렴 안정성이 높아진다.
마지막 에이전틱 RL 단계는 더욱 실전적이다. Hermes Agent, OpenClaw 같은 실제 에이전트 환경 안에서 다중 턴 강화학습을 수행하며, 샌드박스에서 GRPO와 LLM 심사 기준, 프로그램 검증, 안전 게이트를 보상 체계로 활용한다. 벤치마크만을 목표로 삼는 정적 학습과 달리, 실행 환경 자체를 훈련 루프에 통합한 접근은 실배포에서의 안정성과 직결된다는 점에서 의미가 크다.
로컬 에이전트 시대의 조건들
LFM2.5-2.6B는 llama.cpp, MLX, vLLM 등 주요 프레임워크에서 첫날부터 지원되며, transformers>=5.0.0 버전과 호환된다. 사전 학습에는 약 34T 토큰이 사용되었고, 컨텍스트 윈도우는 128K로 설정되어 있다. FP16 기준 8GB VRAM의 GPU 또는 AVX2 지원 CPU와 8GB RAM이 최소 요구 사양이며, INT4 양자화 시 요구 메모리는 급감한다.
그러나 해결되지 않은 질문도 남아 있다. 선형 재귀 기반 모델이 트랜스포머 대비 특정 추론 태스크에서 보이는 약점을 어떻게 보완할지, 그리고 에이전트가 수행한 액션의 책임 소재와 검증 체계를 어느 수준까지 자동화할 수 있을지가 관건이다. 도구 호출과 시맨틱 일관성을 동시에 요구하는 복합 에이전트 워크플로에서는 실제 운영 데이터가 더 쌓여야 안정성을 평가할 수 있을 것이다.
앞으로 주목할 지점
로컬 온디바이스 AI 경쟁은 이제 단순한 모델 크기 경쟁을 넘어, 에이전트 실행 효율과 아키텍처 수준의 혁신으로 이동하고 있다. LFM2.5-2.6B의 등장은 그 신호탄에 가깝다. 앞으로는 MOPD나 에이전틱 RL 같은 사후 훈련 전략이 다양한 오픈소스 모델의 표준 파이프라인으로 확산되는지, 그리고 상태 공간 모델 계열이 기업 환경의 실제 SLA를 충족할 수 있는 수준으로 진화하는지를 지켜볼 필요가 있다. 토큰당 추론 비용이 사실상 0에 수렴하는 지점에서는, 지금 우리가 에이전트 운영의 패러다임으로 당연시하는 조건들 자체가 빠르게 재정의될 것이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.