최근 "Gemma 4 audio with MLX" 이야기가 나오면서, 맥에서 오디오 입력이 되는 Gemma 4를 가볍게 돌리는 방법에 관심이 커졌습니다1. 결론부터 말하면, Apple Silicon 사용자에게는 Gemma 4의 작은 모델과 MLX 조합이 꽤 실용적입니다. 특히 음성 전사나 간단한 음성 이해를 로컬에서 처리하고 싶다면 더 그렇습니다.
Gemma 4 audio with MLX가 주목받는 이유
Gemma 4는 텍스트만 잘하는 모델이 아닙니다. 이미지와 텍스트는 전 모델이 다루고, 오디오는 E2B와 E4B 같은 소형 모델만 지원합니다2. 즉, "오디오까지 되는 Gemma 4를 내 맥북에서 돌릴 수 있나?"라는 질문에는, "네, 대신 E2B나 E4B를 고르세요"가 정답에 가깝습니다.
이 조합이 반가운 이유는 분명합니다. MLX는 Apple Silicon 환경에 잘 맞고, Gemma 4의 작은 모델은 온디바이스 실행을 염두에 둔 구조를 갖고 있습니다. 긴 문맥도 지원하고, 추론 모드까지 켤 수 있어 단순 받아쓰기 이상의 활용이 가능합니다2.
Gemma 4 오디오 지원 모델, 무엇을 골라야 할까
오디오가 필요하다면 선택지는 사실상 둘입니다. E2B와 E4B입니다. 둘 다 최대 128K 컨텍스트를 지원하고, 오디오 입력은 약 30초 길이까지 다룰 수 있습니다3.
하지만 체감 성능은 꽤 다를 수 있습니다. 실제 맥북 테스트 사례를 보면 E4B가 영어, 프랑스어, 아랍어 음성 전사에서 E2B보다 훨씬 안정적인 결과를 보여줬습니다. 반면 E2B는 더 빠르고 가볍지만, 오디오 품질에서는 아쉬움이 보였습니다4. 쉽게 말해, "일단 돌아가면 된다"는 E2B, "제대로 써보고 싶다"는 E4B입니다.
특히 음성 번역이나 다국어 ASR까지 생각한다면 E4B 쪽이 더 안전한 선택입니다. Gemma 4 자체도 140개 이상의 언어 학습 기반을 갖고 있고, 소형 모델 오디오 성능 벤치마크도 공개돼 있습니다2.
MLX에서 Gemma 4 audio 실행하는 가장 쉬운 방법
맥 사용자라면 복잡하게 시작할 필요가 없습니다. 이미 MLX용 양자화 모델이 공개돼 있고, Unsloth 쪽에서는 설치 스크립트와 mlx_lm chat 실행 예시까지 제공합니다5.
다만 한 가지 체크할 점이 있습니다. mlx_lm 중심의 간단한 채팅 실행은 편하지만, 오디오를 제대로 다루려면 mlx-vlm처럼 멀티모달 입력을 직접 받는 경로가 더 명확합니다. 예를 들어 mlx_vlm.generate는 --audio 옵션이나 Python API에서 audio=["파일경로"] 형태를 지원합니다6. 즉, "텍스트 채팅만 빠르게"면 mlx_lm, "오디오까지 진짜 써보기"면 mlx-vlm 쪽이 더 실전적입니다.
프롬프트도 중요합니다. 오디오나 이미지는 텍스트보다 먼저 넣는 것이 권장되고, 음성 전사라면 지시문은 짧고 분명할수록 좋습니다. 예를 들어 "이 오디오를 한국어로 전사해줘"처럼 단순하게 시작하는 편이 안정적입니다3.
맥에서 실제로 쓸 때 알아둘 점
Gemma 4의 큰 장점은 "생각보다 로컬 친화적"이라는 점입니다. 다만 욕심을 내면 바로 벽을 만납니다. 26B A4B나 31B는 품질은 좋지만 오디오를 지원하지 않고, 메모리 부담도 큽니다2. 반대로 E2B와 E4B는 오디오가 되면서도 맥북급 장비에서 현실적으로 접근 가능합니다.
또 하나는 속도와 메모리의 균형입니다. 일부 비교에서는 Ollama가 더 빠르지만, MLX 계열은 메모리 효율이 좋다는 평가가 있습니다4. 그래서 맥에서는 "최고 속도"보다 "안정적으로 로컬 멀티모달을 굴린다"는 관점에서 MLX가 매력적입니다.
시사점
Gemma 4 audio with MLX는 거창한 데모보다, "내 맥에서 음성을 직접 처리하는 AI"에 더 가깝습니다. 핵심은 간단합니다. 오디오가 필요하면 E2B보다 E4B를 우선 검토하고, 텍스트 채팅은 mlx_lm, 실제 오디오 워크플로우는 mlx-vlm으로 접근하면 시행착오를 줄일 수 있습니다.
한마디로 정리하면 이렇습니다. 맥에서 Gemma 4 오디오를 써보고 싶다면, 지금 가장 현실적인 출발점은 E4B + MLX입니다. 작지만 생각보다 제법 잘합니다.
참고
2Welcome Gemma 4: Frontier multimodal intelligence on device
3✨Gemma 4 - How to Run Locally
4I Tested Every Gemma 4 Model Locally on My MacBook - What Actually Works
5unsloth/gemma-4-E4B-it-UD-MLX-4bit · Hugging Face
6mlx-vlm/mlx_vlm/models/gemma4/README.md at main · Blaizzy/mlx-vlm · GitHub
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.