텍스트 모델과 다른 입력 구조
멀티모달 Qwen은 글만 읽는 모델이 아니다. 이미지, 문서 캡처, 표, 차트, 화면을 텍스트 질문과 함께 받아 답한다. 그래서 입력도 단순 문자열이 아니라 role별 메시지 안에 이미지와 텍스트 항목을 함께 넣는 구조를 쓴다. Qwen2-VL 계열의 예를 보면 content는 image 항목과 text 항목의 배열로 구성되고, 프로세서가 이를 비전 플레이스홀더가 포함된 채팅 템플릿으로 바꾼다1.
예를 들면 개념적으로는 다음과 같다.
{
"role": "user",
"content": [
{"type": "image", "image": "receipt.jpg"},
{"type": "text", "text": "이 영수증에서 상호명, 날짜, 총액을 JSON으로 추출해줘."}
]
}중요한 점은 이미지가 "설명 문장"으로 바뀌어 들어가는 것이 아니라, 모델이 볼 수 있는 시각 토큰으로 처리된다는 것이다. 따라서 프롬프트도 달라져야 한다. "분석해줘"보다 "보이는 내용만 답하기", "읽을 수 없는 값은 null", "금액은 원문 표기 유지"처럼 시각 입력의 불확실성을 다루는 조건을 함께 써야 한다.
AI 생성 이미지
작업 유형별 질문법
이미지 설명은 넓게 묻기보다 목적을 정해야 한다. 상품 사진이면 색상, 손상, 모델명, 라벨 위치를 묻고, 문서 스캔본이면 제목, 날짜, 당사자, 표 구조를 묻는다. OCR 보조 작업에서는 "줄 단위로 추출", "표는 행과 열을 유지", "확신이 낮은 글자는 uncertain 표시"처럼 후처리 가능한 형식이 좋다.
차트와 표는 더 구체적이어야 한다. "이 차트를 설명해줘"보다 "축 이름, 단위, 범례, 가장 큰 값, 증가·감소 추세, 추정한 값과 실제로 읽은 값을 구분해 표로 정리해줘"가 낫다. UI 화면 분석에서는 사용자의 목표를 알려준다. 예를 들어 "이 화면에서 비밀번호를 재설정하려면 어떤 버튼을 눌러야 하는가? 버튼명과 위치를 함께 답하라"처럼 묻는다.
문서와 화면을 구조로 읽기
Qwen3-VL 계열은 문서 파싱, 장문 문서 이해, 확장 OCR, 위치 정보 활용을 중요한 능력으로 내세운다. 텍스트만 뽑는 수준을 넘어 문단 배치, 표의 관계, 화면 요소의 위치까지 함께 다룰 수 있다는 뜻이다2.
실무 흐름은 단순하다. 먼저 이미지나 PDF 페이지를 넣고, 추출할 필드를 정한다. 영수증이면 merchant, date, items, total; 계약서면 parties, term, amount, termination_clause; 제품 사진이면 brand, model, visible_damage, label_text처럼 스키마를 만든다. 다음으로 Qwen에게 원문 위치나 페이지 번호를 같이 요구한다. 이렇게 해야 사람이 결과를 빠르게 대조할 수 있다.
좌표와 근거를 함께 받기
시각 업무에서는 답변만으로 부족할 때가 많다. "총액은 58,000원입니다"라는 말보다, 그 값이 이미지의 어디에서 나왔는지가 중요하다. 이때 바운딩 박스, 참조 대상, 표의 행·열, 페이지 번호를 함께 요구한다.
예를 들어 Qwen-VL의 grounding 예시처럼 <ref>대상</ref><box>(x1,y1),(x2,y2)</box> 형식을 사용할 수 있다3. 계약서 서명 위치를 찾는다면 다음처럼 요구한다.
서명 또는 날인 영역을 모두 찾아라.
각 항목은 <ref>서명/날인 설명</ref><box>(x1,y1),(x2,y2)</box> 형식으로 답하라.
판독이 어려우면 추측하지 말고 uncertain으로 표시하라.이런 형식은 검수와 자동화에 유리하다. 좌표가 있으면 원본 이미지 위에 박스를 그려 사람이 확인할 수 있고, 잘못 읽은 값도 빠르게 찾을 수 있다.
API와 배포 선택
클라우드에서는 Alibaba Cloud Model Studio의 OpenAI 호환 방식으로 이미지와 텍스트를 함께 보낼 수 있다. messages[].content에 image_url과 text 항목을 넣는 방식이며, Qwen3-VL 계열의 qwen3-vl-plus, qwen3-vl-flash, Qwen2.5-VL 계열의 qwen-vl-max, qwen-vl-plus 같은 모델군을 선택할 수 있다4. 정확도가 중요하면 상위 모델을, 대량 처리와 비용이 중요하면 flash나 plus 계열을 먼저 검토한다.
자체 서버가 필요하면 vLLM 기반 OpenAI 호환 서버로 Qwen3-VL을 배포할 수 있다. 이때 qwen-vl-utils 같은 멀티모달 유틸리티, GPU 메모리, 이미지·비디오 입력 제한, 최대 컨텍스트 길이를 함께 고려해야 한다5. 특히 큰 VL 모델은 텍스트 모델보다 시각 인코더와 이미지 토큰 때문에 메모리와 지연시간 부담이 크다.
반드시 검수해야 할 지점
멀티모달 모델은 강력하지만 완전하지 않다. 작은 글자, 흐릿한 스캔, 기울어진 문서, 복잡한 병합 셀, 겹친 객체, 차트 축과 범례가 작은 이미지는 오류가 나기 쉽다. 금액, 날짜, 계약 조항, 재고 수량, 계좌번호처럼 업무상 중요한 값은 모델 답변만 믿지 말고 원본 이미지와 좌표 근거를 대조해야 한다.
좋은 설계는 모델에게 모든 책임을 맡기는 것이 아니다. Qwen은 보고, 읽고, 구조화하는 초안을 만든다. 시스템은 좌표와 출처를 남긴다. 사람은 중요한 값만 빠르게 검수한다. 이 세 단계가 맞물릴 때 멀티모달 Qwen은 단순 이미지 설명 도구를 넘어 문서 처리와 화면 이해 자동화의 핵심 부품이 된다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.