FreeToken이 대형 MoE를 개인용 하드웨어에서 구동하는 방식

요약: FreeToken은 CPU·GPU·메모리를 통합적으로 활용해 대형 MoE 모델을 개인용 하드웨어에서 실행하는 엣지 네이티브 서빙 엔진이다.

공개 모델의 가중치를 내려받을 수 있다고 해서 곧바로 로컬에서 실행할 수 있는 것은 아니다. 특히 수천억 개의 매개변수를 가진 모델은 GPU 메모리 용량뿐 아니라 가중치를 옮기는 속도에도 제약을 받는다. FreeToken은 이를 단순한 GPU 성능 문제가 아니라 시스템 전체의 자원 배분 문제로 다룬다.

MoE의 희소성을 실행 효율로 전환한다

MoE는 여러 전문가 모듈 중 토큰마다 일부만 선택해 계산한다. 덕분에 토큰당 연산량은 줄지만, 전체 전문가 가중치는 여전히 저장해야 한다. 필요한 전문가가 GPU 캐시에 없으면 CPU 메모리에서 가져와야 하며, 이때 PCIe 전송이 병목이 될 수 있다.

FreeToken은 이러한 캐시 미스를 모두 GPU로 보내지 않는다. 실제로 측정한 대역폭을 바탕으로 일부 작업은 PCIe를 통해 GPU 캐시에 적재하고, 나머지는 CPU에서 직접 실행한다. 고정된 오프로딩 규칙을 적용하는 대신 각 시스템의 CPU 실행 성능과 데이터 전송 능력에 맞춰 작업을 분배하는 방식이다.¹

개별 기능이 아닌 전체 실행 경로를 최적화한다

FreeToken의 핵심은 특정 단계만 빠르게 만드는 데 있지 않다. 모델 배치와 로딩, 전문가 상주 정책, CPU·GPU 실행, 에이전트 상태 재사용, 런타임 메모리 관리를 하나의 체계로 통합한다.¹

예를 들어 이전 토큰 처리에 사용한 전문가를 GPU 캐시에 유지해 다시 활용한다. 도구 호출이나 대화 수정이 발생했을 때는 기존 에이전트 상태를 재사용해 필요한 구간만 다시 계산한다. 메모리 여유가 달라지면 엔진을 재시작하지 않고 전문가 캐시 크기도 조절한다.¹

이러한 적응성은 브라우저나 다른 프로그램과 자원을 공유하는 개인용 환경에서 특히 중요하다. 엣지 추론에서는 최대 성능만큼이나, 계속 달라지는 가용 메모리와 대역폭에 안정적으로 대응하는 능력이 중요하기 때문이다.

모델 크기보다 실행 조건을 함께 봐야 한다

FreeToken은 20개가 넘는 MoE 모델을 지원하며, 8GB 노트북 GPU부터 단일 워크스테이션 GPU까지 폭넓은 하드웨어를 대상으로 한다. 연구진은 단일 워크스테이션 GPU에서 753B GLM-5.2를 실행했으며, 32GB 게이밍 데스크톱에서는 284B 모델을 구동했다.¹

그러나 실무적으로 주목할 점은 단순히 “큰 모델이 작은 GPU에서 실행된다”는 데 있지 않다. 로컬 AI의 체감 성능은 GPU 용량만으로 결정되지 않으며, CPU 처리량, 호스트 메모리, PCIe 대역폭, 캐시 정책의 균형에 좌우된다.

따라서 FreeToken과 같은 엣지 네이티브 서빙 엔진을 검토할 때는 모델 크기만 보지 말아야 한다. 목표 하드웨어에서의 응답 속도와 첫 토큰 지연, 다른 프로그램과 자원을 공유할 때의 안정성, 메모리 변동에 대한 적응성을 함께 확인해야 한다. FreeToken이 주는 핵심 교훈은 대형 MoE의 로컬 실행 가능성이 단일 부품의 사양보다 시스템 전체를 어떻게 조율하느냐에 달려 있다는 점이다.

¹FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution