최근 NVIDIA가 "Jetson에서도 비전-언어 모델(VLM)을 굴릴 수 있다"는 흐름을 더 강하게 밀고 있습니다. 핵심은 데이터가 민감하거나 지연 시간이 치명적인 현장(공장, 로봇, 매장)에서 클라우드 대신 Jetson에서 이미지+텍스트 추론을 끝내겠다는 것인데요.1 이 글에서는 "그래서 뭘 깔고, 어떤 모델을 고르고, 어디서 막히는지"를 한 번에 정리해봅니다.
Jetson에서 VLM이 빛나는 순간: "업로드"가 아니라 "현장 판단"
VLM은 이미지를 보고 질문에 답하거나, 문서/표/다이어그램을 읽고 요약하는 모델입니다. 즉 카메라가 달린 엣지 기기에서 "무슨 상황인지 말로 설명"해주는 두뇌가 됩니다.
산업 현장에서는 카메라 영상이 외부로 나가면 곤란한 경우가 많고, 네트워크가 불안정하면 AI가 멈춥니다. 그래서 Jetson 같은 엣지 GPU에서 실시간 추론을 돌리는 구조가 각광받습니다. 실제로 산업용 엣지 플랫폼들은 DeepStream 같은 영상 파이프라인 위에 VLM을 얹어 "이상 징후 감지 → VLM이 장면 설명으로 재검증" 같은 패턴을 강조합니다.2 단순 객체탐지의 오탐을 '언어 추론'으로 걸러내는 방식이죠.
오픈소스 VLM, Jetson에선 "크기+능력+라이선스"가 먼저다
PC나 서버라면 "성능 좋은 거"로 끝나지만, Jetson은 전력·메모리·발열이 먼저 한계를 걸어둡니다. 그래서 모델 고르는 기준이 약간 다릅니다.
문서/OCR이 목적이라면 고해상도 텍스트를 잘 읽는 계열이 유리합니다. 예를 들어 Gemma 3는 고해상도 처리와 긴 컨텍스트를 내세우고, Qwen 2.5 VL은 문서·다국어·동적 해상도 처리에 강점을 둡니다.3 반면 로봇/과학 도식처럼 "그림을 보고 논리적으로 추론"해야 하면 DeepSeek-VL처럼 추론 성향이 강한 모델을 고려할 만합니다.3
그리고 현실적인 팁 하나. Jetson에서 상용 서비스를 염두에 둔다면 라이선스를 초반에 확정하세요. Apache 2.0처럼 제약이 적은 모델(Qwen 2.5 VL, Pixtral 등)도 있고, 사용 조건이 더 까다로운 계열도 있습니다.3 PoC는 금방 끝나도, 라이선스는 출시 직전에 발목을 잡습니다.
배포 전략 3가지: "가볍게 → 제대로 → 생산"
첫 번째는 가장 빠른 길입니다. 이미 만들어진 Jetson용 예제/레시피를 따라가며 "일단 화면에서 돌아가게" 만드는 것. 여기서 목표는 성능이 아니라 파이프라인 감을 잡는 겁니다. 카메라 입력, 전처리, 프롬프트, 출력 포맷(JSON 등)만 안정화해도 절반은 성공입니다.
두 번째는 최적화 모드입니다. Jetson에서는 같은 모델도 정밀도(FP16/INT8), 입력 해상도, 배치 크기, KV 캐시 설정에 따라 체감이 크게 갈립니다. 또한 전력 모드(예: 15W vs MAX)를 바꾸는 것만으로도 토큰 처리량이 의미 있게 달라질 수 있다는 벤치마크들이 계속 나오고요.4 "모델 바꾸기 전에 전력/클럭부터"가 의외로 통합니다.
세 번째는 서빙 프레임워크를 얹는 생산 단계입니다. 서버에서는 vLLM이 사실상 표준처럼 쓰이지만, Jetson에서는 여기서 함정이 자주 나옵니다.
vLLM을 Jetson에 올릴 때 자주 만나는 벽(트라이톤/파이썬)
Jetson AGX Xavier 같은 JetPack 5 계열(L4T R35)은 기본 파이썬이 3.8인 경우가 많습니다. 그런데 vLLM 생태계에서 쓰이는 triton 패키지는 파이썬 버전/휠 지원과 엮이면서 설치 자체가 막히는 사례가 보고됩니다. 실제로 Xavier 환경에서 vLLM 컨테이너 빌드 중 "triton 패키지를 찾을 수 없다"는 에러가 발생했다는 글이 올라왔고, 파이썬 심볼릭 링크를 바꿔도 컨테이너 내부 파이썬은 그대로라 해결이 안 됐습니다.5
이 구간에서의 결론은 단순합니다. "Xavier + JetPack5에서 최신 vLLM을 바로"는 생각보다 고생길일 수 있습니다. 선택지는 보통 셋입니다. JetPack 6 계열(파이썬/쿠다 스택 변화)로 올리거나, vLLM 대신 Jetson 친화적인 경량 실행 경로(예: 특정 배포 레시피, 또는 다른 런타임)를 택하거나, 컨테이너를 완전 커스텀해 의존성을 맞추는 방식입니다. 즉, 모델만 고르면 끝이 아니라 "내 Jetson 세대에서 서빙 스택이 성립하나?"를 먼저 확인해야 합니다.
시사점
Jetson에 오픈소스 VLM을 배포하는 흐름은 분명히 커지고 있고, 이유도 명확합니다. 현장에서 바로 보고, 바로 말로 설명하고, 바로 판단해야 하는 일이 늘고 있기 때문이죠.12
실무 팁만 요약하면 이렇습니다. 첫째, Jetson에선 "모델 성능"보다 "모델 크기·입력 해상도·전력 모드"가 먼저 병목이 됩니다. 둘째, 문서/OCR·다국어·추론 등 목적에 따라 모델 계열이 갈립니다.3 셋째, vLLM은 만능키가 아니며 JetPack 버전과 파이썬/트라이톤 호환성에서 막힐 수 있으니, 장비 세대에 맞는 배포 전략을 먼저 확정하세요.5
참고
1Deploying Open Source Vision Language Models (VLM) on Jetson
2HCLTech Unveils VisionX 2.0 Multi-Modal AI Edge Platform with NVIDIA Technology
4Exploring NVIDIA Jetson Orin Nano Super Mode performance using Generative AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.