Lily가 보여주는 Apple Silicon 로컬 추론 최적화

로컬 AI의 체감 성능은 모델 크기만으로 결정되지 않는다. 모델 연산을 하드웨어에 얼마나 효율적으로 배치하느냐에 따라 응답 속도와 사용성이 크게 달라진다. Perplexity가 오픈소스로 공개한 Lily는 이 실행 경로를 최적화하는 로컬 추론 엔진이다.¹

Rust와 Metal로 최적화한 실행 경로

Lily는 Qwen3.6-35B-A3B를 Apple Silicon에서 실행하기 위해 Rust와 맞춤형 Metal 커널로 구축됐다.¹ Metal 커널은 GPU 연산을 Apple 하드웨어 특성에 맞게 구현하고, 메모리 이동과 연산 실행을 세밀하게 제어한다. Rust는 실행 성능을 유지하면서 메모리 관련 오류를 줄이는 데 유리하다.

중요한 점은 특정 기술을 사용했다는 사실보다 런타임과 GPU 연산을 같은 목표에 맞춰 설계했다는 데 있다. 범용성을 중시하는 프레임워크와 달리, 모델 구조와 하드웨어에 맞춘 최적화로 로컬 추론 성능을 끌어올리는 접근이다.

Lily는 Perplexity Computer의 Hybrid Compute에도 사용된다.¹ 이 구조에서 로컬 추론 엔진은 단순한 오프라인 실행 도구를 넘어, 로컬과 외부 컴퓨팅 자원을 함께 활용하는 기반이 된다.

벤치마크는 프리필과 디코드로 나눠 읽어야 한다

40코어·128GB M5 Max 환경에서 Lily의 평균 프리필 처리량은 MLX-LM의 1.23배, 평균 디코드 처리량은 1.35배로 보고됐다.¹

두 수치는 서로 다른 사용 경험을 나타낸다.

• 프리필은 입력 문맥을 처음 처리하는 단계다. 긴 문서나 많은 대화 기록을 빠르게 읽어야 할 때 중요하다.

• 디코드는 이후 토큰을 순차적으로 생성하는 단계다. 대화형 서비스에서 답변이 이어지는 속도와 밀접하다.

따라서 엔진을 비교할 때는 평균 처리량 하나만 볼 것이 아니라 실제 작업의 병목이 어느 단계에 있는지 먼저 파악해야 한다. 또한 이 결과는 특정 모델과 장비에서 측정된 수치이므로, 다른 메모리 용량이나 입력 길이, 양자화 설정에서도 같은 차이가 유지되는지는 별도로 검증해야 한다.

도입 전에 확인할 판단 기준

Lily의 의미를 단순히 “가장 빠른 엔진”이라는 주장으로 받아들일 필요는 없다. 더 중요한 교훈은 Apple Silicon에서도 모델 구조와 하드웨어에 맞춘 커널 최적화가 로컬 AI의 체감 성능을 바꿀 수 있다는 점이다.

실제 도입을 검토한다면 다음 항목을 함께 측정해야 한다.

• 첫 응답까지 걸리는 시간

• 프리필과 디코드의 처리량

• 긴 문맥에서의 성능 변화

• 메모리 사용량

• 지원 모델 범위

• 배포와 운영의 편의성

요약: Lily는 Rust와 Metal을 활용해 Apple Silicon의 로컬 추론 경로를 최적화한 오픈소스 엔진이다. 이 사례가 주는 실용적인 교훈은 모델 선택만큼 추론 엔진의 설계와 실제 작업 조건에 맞춘 검증이 중요하다는 것이다.

¹Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon