AI 서비스의 비용 구조에서 점점 더 중요해지는 것은 학습보다 추론입니다. 추론은 이미 학습된 모델이 사용자 요청에 답을 생성하는 과정이고, 서비스가 커질수록 이 과정은 계속 반복됩니다. 결국 문제는 “모델을 한 번 잘 학습시키는 것”에서 “많은 요청을 어떤 하드웨어에서 얼마나 효율적으로 처리할 것인가”로 이동합니다.
ZML/LLMD는 이 지점을 겨냥한 LLM 추론 서버입니다. LLaMa, Gemma, Qwen, Mistral 계열 모델을 NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal에서 실행하도록 설계됐습니다.1 핵심은 특정 칩에 묶이지 않고 여러 하드웨어 위에서 추론을 운영하려는 접근입니다.
ZML/LLMD가 해결하려는 문제
LLMD의 의미는 “또 하나의 모델 서버”가 나왔다는 데 있지 않습니다. 더 중요한 지점은 하드웨어 이식성입니다.
기존 AI 인프라는 특정 GPU와 그에 맞는 소프트웨어 스택에 묶이기 쉽습니다. 한 번 특정 환경에 맞춰 배포 구조를 만들면, 다른 칩으로 옮기거나 혼합 환경을 운영하는 데 비용이 커집니다. ZML은 “하나의 코드베이스로 여러 하드웨어에서 실행”하는 방향을 내세웁니다.2
기업 입장에서는 이식성이 곧 선택권입니다. 칩 수급, 가격, 전력 조건, 클라우드 환경에 따라 추론 인프라를 더 유연하게 구성할 수 있기 때문입니다. ZML/LLMD가 주목받는 이유도 단순 성능 경쟁이 아니라, 칩 선택의 폭을 넓히려는 시도에 있습니다.
추론 서버로서 갖춰야 할 것들
AI 추론 서버에서 중요한 것은 빠른 토큰 생성만이 아닙니다. 실제 서비스에서는 동시에 들어오는 요청을 묶어 처리하고, 긴 문맥의 메모리를 관리하며, 대형 모델을 여러 장치에 나눠 올리는 기능이 필요합니다.
LLMD는 OpenAI 호환 API, continuous batching, paged attention, tensor parallel sharding, prefix caching, Prometheus metrics 같은 운영 기능을 제공합니다.3 이는 실험용 실행기보다는 서비스형 추론 서버를 지향한다는 신호입니다.
또한 Hugging Face, S3, GCS에서 모델을 직접 불러오는 VFS 기능도 제공합니다.1 모델 파일을 별도로 내려받고 배치하는 과정을 줄일 수 있어, 운영 환경을 구성하는 부담을 낮추는 데 도움이 됩니다.
유럽 AI 인프라 흐름과의 연결
ZML/LLMD는 개별 제품이지만, 더 넓게 보면 유럽 AI 인프라 전략과도 맞닿아 있습니다. 2026년 6월 18일 VivaTech에서 Île-de-France Region, Scaleway, VSORA, ZML은 차세대 AI 추론 칩 배포를 위한 전략적 파트너십을 발표했습니다.4
이 협력은 실리콘 설계부터 클라우드 인프라 운영까지 연결하는 유럽 AI 인프라 가치사슬 구축을 목표로 합니다.4 특히 VSORA는 AI 추론 프로세서를 전문으로 개발하는 프랑스 반도체 기업입니다.4 즉 ZML/LLMD의 멀티 칩 추론 방향은 소프트웨어만의 문제가 아니라, 칩·클라우드·운영을 함께 묶는 인프라 경쟁의 일부로 볼 수 있습니다.
도입 판단 기준: 성능보다 이식성
ZML/LLMD는 무료 제품으로 출시됐지만, 아직 alpha 성격이 강합니다.5 따라서 당장 모든 운영 환경을 대체할 도구라기보다는, 멀티 칩 추론 전략을 검증할 후보로 보는 편이 현실적입니다.
도입을 검토한다면 다음 세 가지를 먼저 확인해야 합니다.
현재 사용하는 모델 계열을 지원하는가
보유 중인 칩 또는 사용할 클라우드 하드웨어에서 안정적으로 실행되는가
기존 OpenAI 호환 클라이언트, 모니터링, 배포 구조와 쉽게 연결되는가
ZML/LLMD가 던지는 메시지는 분명합니다. 앞으로 AI 인프라 경쟁은 “가장 빠른 칩”만의 싸움이 아닙니다. 모델을 여러 칩 위로 얼마나 쉽게 옮기고, 운영 비용을 얼마나 유연하게 통제할 수 있는지가 더 중요해지고 있습니다.
1ZML/LLMD alpha | ZML - Model to Metal
3ZML/LLMD alpha | ZML - Model to Metal
5Hot French startup ZML releases free product to speed inference across lots of AI chips
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.