최근 GitHub에 Parakeet.cpp가 공개되며, NVIDIA Parakeet ASR을 순수 C++로 추론(inference) 하고 macOS에선 Metal GPU 가속까지 노릴 수 있는 선택지가 생겼습니다1. "로컬 STT를 빠르고 가볍게, 그리고 앱에 박아 넣고 싶다"는 개발자들에겐 꽤 큰 사건입니다.
Parakeet.cpp가 겨냥하는 문제: "로컬 STT는 왜 늘 무거웠을까?"
음성 인식(ASR)을 제품에 넣을 때 제일 먼저 부딪히는 벽은 의외로 모델이 아니라 "포장"입니다. Python 런타임, 서버, 컨테이너, 드라이버, 배포 환경... 성능을 내기도 전에 주변 부품이 비대해지죠.
반대로 whisper.cpp가 "C/C++에 가깝게, 의존성 줄이고, 여러 하드웨어 백엔드로 넓히자"는 전략으로 사랑받았던 것처럼, Parakeet.cpp도 비슷한 기대를 받기 좋은 구조입니다. 특히 macOS 앱(메뉴바 dictation, 회의록, 자막 생성 등)에선 "로컬 + 저지연"이 곧 사용자 경험이니까요.
Metal GPU 가속이 매력적인 이유: M칩에서 '체감 속도'가 달라진다
Hacker News에선 Parakeet 기반 macOS 받아쓰기 앱이 M-series에서 매우 빠르게 동작한다는 경험담이 공유됐습니다2. 이런 류의 앱은 사용자가 단축키를 누르고 말하기 시작한 그 순간부터가 승부인데, 지연이 길면 "아, 또 구름(클라우드) 갔나?" 같은 불신이 생깁니다.
게다가 실시간 스트리밍에는 트레이드오프가 있습니다. 즉시 자막처럼 뿌리면 편하지만, 말버릇(음... 어...) 제거 같은 후처리를 하기 어렵죠3. GPU 가속으로 여유가 생기면, "거의 실시간 + 적당한 후처리" 같은 타협점을 더 공격적으로 잡을 수 있습니다. Parakeet.cpp의 Metal 가속 포인트는 여기서 빛납니다.
whisper.cpp·CPU형 Parakeet와 비교: 어떤 팀에 맞을까?
이미 시장엔 "CPU로도 엄청 빠르게"를 내세우는 Parakeet STT 배포 방식이 있습니다. 예를 들어 ONNX로 내보내 CPU 최적화한 구성은 약 30배 실시간 속도를 주장하고, OpenAI 호환 API까지 제공해 붙이기 쉽습니다4. 서버형 파이프라인이나 사내 도구엔 이런 형태가 더 빠른 도입일 수 있어요.
반면 Parakeet.cpp는 "제품 코드베이스에 C++로 박아 넣기"를 원하는 팀에 매력적입니다. macOS 네이티브 앱, 오프라인 클라이언트, 보안 민감 환경처럼요. 한마디로 Python 서비스로 둘지, 라이브러리로 링크할지의 갈림길에서 후자에 무게가 실립니다.
덧붙여 whisper.cpp가 Vulkan까지 품으면서 AMD에서도 나름 길을 내는 것처럼5, Parakeet.cpp도 "macOS=Metal"이라는 강점을 확실히 잡으면 로컬 STT 선택지가 더 다양해질 가능성이 큽니다.
시사점
Parakeet.cpp를 "Whisper 대체재" 한 줄로 보기엔 아깝습니다. 핵심은 로컬 STT를 앱 레벨로 내리는 흐름이고, 그 과정에서 C++ 구현과 Metal 가속은 배포·지연·비용을 동시에 건드립니다.
지금 선택 팁을 한 줄로 정리하면 이렇습니다. "팀이 이미 Python/서버 중심이면 CPU형 Parakeet API로 빨리 가고, macOS 앱이나 네이티브 제품이라면 Parakeet.cpp 같은 C++ 추론이 장기적으로 더 싸고 빠를 수 있다." 결국 사용자는 모델명이 아니라, 단축키 눌렀을 때 바로 뜨는 '첫 글자'의 속도로 평가하니까요.
참고
1Parakeet.cpp - Parakeet ASR inference in pure C++ with Metal GPU acceleration
2Show HN: I built a local macOS dictation app using Nvidia Parakeet and MLX | Hacker News
3I use the open source Handy [1] app with Parakeet V3 for STT when talking to cod... | Hacker News
4parakeet-stt | Skills Marketplace · LobeHub
5Subtitle Edit and whisper.cpp STT on AMD (and other non-Nvidia?) GPUs with Vulkan
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.