웹에서 AI를 실행하는 일은 더 이상 새롭지 않습니다. 이제 중요한 질문은 “어떤 런타임과 모델 형식을 기준으로 웹 AI를 설계할 것인가”입니다. Google이 공개한 LiteRT.js는 그 기준을 .tflite와 온디바이스 추론 스택 쪽으로 옮기는 선택지입니다.
LiteRT.js는 무엇인가
LiteRT.js는 Google의 온디바이스 추론 라이브러리인 LiteRT를 웹에서 사용할 수 있게 만든 JavaScript 바인딩입니다. npm 패키지 이름은 @litertjs/core이며, WebAssembly를 통해 브라우저에서 .tflite 모델을 직접 실행합니다.1
중요한 점은 LiteRT.js가 완전히 새로운 모델 생태계를 요구하는 도구가 아니라는 것입니다. Android, iOS, 데스크톱용 LiteRT와 같은 크로스플랫폼 스택을 공유하므로, 모바일이나 엣지 환경에서 준비한 모델과 최적화 흐름을 웹까지 확장할 수 있습니다.1
이 덕분에 JavaScript 또는 TypeScript 웹 앱에서도 클라이언트 측 텍스트 생성, 객체 탐지, 오디오 처리 같은 작업을 구현할 수 있습니다.1 즉 LiteRT.js의 핵심 가치는 “웹에서도 LiteRT 기반 모델을 실행할 수 있다”는 데 있습니다.
무엇이 달라지는가
LiteRT.js가 의미 있는 이유는 웹 AI의 실행 위치를 서버에서 브라우저로 더 가까이 당기기 때문입니다. 추론이 클라이언트에서 끝나면 서버 왕복이 줄어들고, 사용자 데이터를 외부로 보내지 않는 구조를 만들기 쉬워집니다. 카메라 입력을 분석하거나 오디오를 처리하는 기능처럼 반응 속도와 로컬 처리가 중요한 경우 특히 실용적입니다.
성능을 내는 방식도 비교적 분명합니다. CPU 백엔드는 멀티스레드 지원과 relaxed SIMD 빌드를 갖춘 XNNPACK을 사용합니다.1 GPU 가속은 WebGPU 위에서 동작하는 Google ML Drift가 담당하며, NPU 경로는 Chrome과 Edge에서 실험 단계인 WebNN API를 사용합니다.1
Google 벤치마크에 따르면 LiteRT.js는 고전적 컴퓨터 비전 및 오디오 처리 모델에서 다른 웹 런타임보다 최대 3배 빠른 성능을 보였습니다.1 다만 공식 벤치마크는 2024년형 Apple MacBook Pro M4 환경에서 수행됐습니다.1 실제 성능은 브라우저, 하드웨어, 드라이버, 모델 구조, 발열 조건에 따라 달라질 수 있습니다.
언제 검토할 만한가
LiteRT.js가 모든 웹 AI 프로젝트의 기본 선택지는 아닙니다. 가장 잘 맞는 경우는 이미 .tflite 모델을 보유하고 있거나, 모바일·데스크톱·웹 배포를 LiteRT 기반으로 묶고 싶은 경우입니다. 하나의 모델 변환 및 최적화 흐름을 여러 플랫폼에 적용할 수 있다는 점이 핵심입니다.
PyTorch 모델을 사용하고 있다면 LiteRT Torch로 한 단계에 .tflite 모델로 변환할 수 있습니다.1 모델 크기와 실행 속도를 더 조정해야 한다면 AI Edge Quantizer를 통해 레이어별 맞춤형 양자화 방식을 설정할 수 있습니다.1
기존 TensorFlow.js 기반 앱도 반드시 전면 재작성할 필요는 없습니다. 전처리와 후처리 구조는 유지하면서, 추론 부분만 LiteRT.js로 바꾸는 방식도 가능합니다.2
적용 전 확인할 것
LiteRT.js를 검토할 때는 먼저 세 가지를 확인하는 것이 좋습니다.
사용할 모델을
.tflite로 준비할 수 있는가목표 브라우저와 기기에서 WebAssembly, WebGPU, 필요한 경우 WebNN 조건이 맞는가
서버 추론 대비 지연 시간, 비용, 개인정보 측면의 이점이 실제 제품 요구사항과 맞는가
결론적으로 LiteRT.js는 “브라우저에서도 엣지 런타임을 그대로 활용하는” 선택지를 제공합니다. 웹 AI를 만들 때 모델 형식, 목표 기기, 가속 백엔드 조건이 맞는다면 서버 비용과 지연 시간, 데이터 전송 부담을 줄이는 현실적인 대안이 될 수 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.