문서를 붙여 넣던 손이 이제 이미지를 집어 들기 시작하면, 프롬프트의 세계는 갑자기 넓어진다. 이제는 "설명해줘"가 아니라 "봐줘"라고 말할 수 있기 때문이다. 제품 사진, 행사 포스터, 차트 캡처, 앱 화면, 화이트보드 메모, 매장 진열 사진처럼 실무에는 텍스트보다 먼저 눈에 들어오는 자료가 많다. 중급 프롬프트는 바로 이 지점에서 한 단계 올라선다. 내가 길게 묘사하느라 애쓸 필요 없이, 모델이 실제 이미지를 보고 판단하게 만드는 단계다.1
하지만 여기서 많은 사람이 첫 번째 함정에 빠진다. 이미지를 넣었으니 이제 모델이 알아서 다 해주겠지, 하고 기대하는 것이다. 실제로는 반대다. 이미지가 들어올수록 텍스트 지시문이 더 중요해진다. 텍스트는 모델에게 "무엇을 봐야 하는지", "무엇을 무시해야 하는지", "어떤 형식으로 답해야 하는지"를 정해 주는 손전등 역할을 한다.12 같은 포스터를 보더라도 누구는 분위기를 알고 싶고, 누구는 날짜와 장소만 뽑고 싶고, 누구는 SNS용 한 줄 카피가 필요하다. 이미지는 같아도 작업은 완전히 다르다.
이 장에서는 이미지 설명, 대체텍스트 작성, SNS 캡션 생성, 시각 자료 정보 추출을 중심으로, 텍스트만 입력하던 단계에서 벗어나 실무의 시야를 넓히는 방법을 다룬다. 핵심은 단순하다. 이미지를 첨부하는 것만으로는 부족하고, 이미지로 무엇을 하게 할지 설계해야 한다는 점이다.

멀티모달 프롬프트는 '이미지 추가'가 아니라 '작업 재설계'다
멀티모달 프롬프트라는 말이 어렵게 들릴 수 있지만, 뜻은 단순하다. 텍스트와 이미지처럼 서로 다른 입력 형식을 한 번에 주는 방식이다. 이때 이미지가 원재료라면, 텍스트는 작업 지시서다.1 사람에게도 비슷하다. 누군가에게 사진을 보여 주고 "이거 어때?"라고 물으면 대답은 흐릿하다. 하지만 "이 사진을 제품 상세페이지용으로 설명해줘"라고 말하면 훨씬 쓸 만한 답이 나온다.
중요한 변화는 하나다. 이제 우리는 모델에게 세상을 상상하게 하지 않고, 보이는 것을 바탕으로 일하게 만들 수 있다. 부동산 사진으로 매물 설명을 쓰게 하거나, 대시보드 스크린샷에서 이상 징후를 찾게 하거나, 행사 포스터에서 일정 정보를 뽑게 하는 식이다.1 텍스트만으로 이런 작업을 하려면 사람이 먼저 눈으로 보고, 요약하고, 다시 입력해야 했다. 멀티모달 프롬프트는 그 중간 단계를 크게 줄인다.
다만 편리해진 만큼 경계도 필요하다. 이미지를 본다고 해서 언제나 정확한 것은 아니다. 작은 글씨, 빽빽한 표, 복잡한 위치 관계, 많은 물체 수 세기 같은 일에서는 흔들릴 수 있다.34 그래서 중급 단계에서는 "할 수 있다"보다 "어떻게 시킬 때 안정적인가"를 더 중요하게 본다.
이미지 프롬프트의 기본 뼈대
이미지 프롬프트도 결국 템플릿으로 다룰 수 있다. 좋은 이미지 프롬프트는 보통 다섯 요소로 이루어진다.
역할 또는 맥락
이미지에서 볼 대상
수행할 작업
출력 형식
불확실성 처리 방식
예를 들어 제품 사진 하나를 보고 설명문을 쓰게 한다고 해 보자. 그냥 "이 사진 설명해줘"라고 하면 모델은 배경, 조명, 색감, 분위기까지 두루 말할 것이다. 그런데 내가 필요한 것이 쇼핑몰 상품 설명이라면 그렇게 넓은 답은 오히려 불편하다.
다음처럼 바꾸면 훨씬 단단해진다.
당신은 온라인 쇼핑몰 상품 등록 담당자다.
첨부한 이미지를 보고 제품 설명 초안을 작성하라.
집중할 대상: 제품의 형태, 재질로 보이는 특징, 색상, 사용 상황
출력 형식:
1. 한 문장 요약
2. 핵심 특징 4개
3. 고객이 궁금해할 질문 3개
주의:
- 이미지에서 확인되지 않는 스펙은 추정하지 말 것
- 보이지 않는 기능은 쓰지 말 것
- 애매한 부분은 '이미지상 불명확'이라고 표시할 것이 프롬프트는 단순한 설명을 작업 문서로 바꾼다. 이미지 프롬프트는 문장을 예쁘게 만드는 기술이 아니라, 보이는 정보를 어떤 업무 결과로 변환할지 정하는 기술이다.
이미지 설명은 '많이'보다 '목적에 맞게'가 중요하다
이미지 설명에서 가장 흔한 오해는 자세히 쓰면 무조건 좋다는 생각이다. 물론 자세함이 필요한 일도 있다. 하지만 실무에서는 무엇을 위한 설명인지가 먼저다. 접근성용 대체텍스트와 마케팅용 이미지 소개문은 같을 수 없고, 재고 관리용 제품 식별 설명과 여행 사진 감성 카피도 다를 수밖에 없다.
연구에서도 범용적인 한 줄 캡션보다, 질문이나 과업 목적에 맞게 유도된 설명이 후속 작업에 더 도움이 된다는 결과가 나왔다.5 쉽게 말하면 "사진을 잘 묘사해줘"보다 "이 사진에서 고양이의 색만 말해줘"가 더 쓸모 있는 순간이 많다는 뜻이다. 실제 멀티모달 모델 예시에서도 존재 여부 확인, 핵심 사물 나열, 특정 대상 개수 세기처럼 대상을 좁히는 지시가 결과를 더 안정적으로 만든다.2
예를 들어 같은 이미지를 두고도 설명은 이렇게 달라질 수 있다.
작업 A: 고객센터용 이미지 설명
- 고객이 보낸 제품 하자 사진을 보고 어떤 문제가 보이는지 3줄로 설명하라.
- 확실히 보이는 것과 추정되는 것을 구분하라.
작업 B: 교육 자료용 이미지 설명
- 초등학생도 이해할 수 있게 이 실험 사진을 설명하라.
- 전문 용어를 쓰면 바로 풀어서 설명하라.
작업 C: 콘텐츠 기획용 이미지 설명
- 이 사진의 분위기, 핵심 피사체, 눈길을 끄는 요소를 나누어 설명하라.
- 마지막에 썸네일 카피 아이디어 3개를 제안하라.세 작업은 모두 이미지 설명이지만 결과물은 완전히 다르다. 중급 프롬프트는 이렇게 설명의 종류를 나누는 감각에서 시작된다.
좋은 대체텍스트는 '보이는 것의 나열'이 아니다
대체텍스트, 즉 alt text는 이미지가 보이지 않는 상황에서 그 이미지를 대신 설명하는 문장이다. 접근성 관점에서 중요하지만, 실무에서는 생각보다 자주 어색하게 쓰인다. 어떤 alt text는 너무 짧아서 아무 도움도 안 되고, 어떤 alt text는 지나치게 길어서 듣는 사람을 지치게 만든다.
좋은 대체텍스트의 핵심은 이미지의 목적을 반영하는 것이다. 쇼핑몰 상품 사진이라면 제품의 형태와 차이를 알려 주는 것이 중요하고, 카드뉴스 첫 장이라면 핵심 메시지와 시각적 장면을 함께 잡아야 한다. 행사 사진이라면 누가 무엇을 하고 있는지가 우선일 수 있다. 반대로 단순 장식 이미지는 굳이 길게 설명하지 않는 편이 낫다.
대체텍스트 프롬프트를 설계할 때는 보통 세 가지를 미리 정하면 좋다.
이 이미지의 사용 맥락은 무엇인가
사용자에게 꼭 전달해야 할 핵심 정보는 무엇인가
장식 요소와 핵심 요소를 어디서 구분할 것인가
예를 들어 뉴스레터용 이미지라면 이렇게 쓸 수 있다.
첨부 이미지를 뉴스레터용 대체텍스트로 작성하라.
목표 독자: 화면 읽기 프로그램 사용자
목적: 본문 내용을 이해하는 데 필요한 핵심 장면 전달
규칙:
- 120자 안팎으로 쓸 것
- '이미지에는' 같은 군더더기 표현은 피할 것
- 장식적 배경보다 핵심 인물/행동/정보를 우선 설명할 것
- 포스터나 슬라이드라면 읽을 가치가 있는 핵심 텍스트도 포함할 것이런 식으로 지시하면 모델이 분위기 잡는 묘사에 빠지지 않고, 실제로 도움이 되는 설명을 만든다. 대체텍스트는 문학이 아니라 접근 가능한 정보 전달문이다.
SNS 캡션은 이미지 하나로 쓰지 말고, 이미지에서 무엇을 살릴지 먼저 정하라
SNS 작업에서 AI에게 이미지를 보여 주고 캡션을 맡기면 종종 그럴듯한 광고 문구가 나온다. 문제는 그 문구가 늘 비슷하다는 데 있다. "완벽한 하루", "분위기 최고", "지금 만나보세요" 같은 말은 틀리지는 않지만, 기억에도 잘 안 남는다.
이럴 때 필요한 것은 이미지 자체보다 캡션의 역할 정의다. 이 게시물은 댓글을 유도하려는가, 저장을 늘리려는가, 상품 특징을 전달하려는가, 브랜드 톤을 유지하려는가, 아니면 클릭을 만들려는가. 목적이 다르면 이미지에서 살려야 할 포인트도 달라진다.
SNS 캡션 프롬프트에는 최소한 다음 정보가 들어가야 한다.
플랫폼
톤
타깃 독자
캡션 목표
길이 제한
CTA 여부
예를 들어 같은 카페 사진이라도 목적에 따라 다르게 쓸 수 있다.
첨부 이미지를 바탕으로 인스타그램 캡션 3개를 작성하라.
브랜드 톤: 동네에 오래 자리 잡은 차분한 카페
타깃: 20~30대 혼자 작업하는 손님
목표: 저장 유도
규칙:
- 각 캡션은 90자 이내
- 첫 문장은 훅처럼 짧게 쓸 것
- 과장된 광고 표현은 피할 것
- 마지막에는 댓글 유도 대신 '저장해두기 좋은 이유'를 자연스럽게 넣을 것이미지가 주는 분위기만 받아 적는 것이 아니라, 플랫폼용 결과물로 가공하게 만드는 것이다. 필요하다면 한 번 더 나눌 수도 있다. 먼저 이미지에서 훅 후보를 뽑고, 그다음 선택한 훅으로 본문을 쓰게 하는 방식이다. 이렇게 단계를 나누면 말투가 덜 굳고, 수정도 쉬워진다.
시각 자료에서 정보 뽑기는 '설명'과 '추출'을 분리해야 잘 된다
포스터, 전단, 대시보드, 차트, 슬라이드, 메뉴판, 표지판 같은 시각 자료는 사진과 조금 다르다. 분위기보다 읽어야 할 정보가 더 중요하기 때문이다. 여기서 많이 하는 실수가 "이 이미지를 설명해줘" 한 문장으로 끝내는 것이다. 그러면 모델은 텍스트도 읽고, 배경도 말하고, 디자인 느낌도 말하느라 정작 필요한 정보를 흐릴 수 있다.
이럴 때는 설명과 추출을 분리하는 편이 낫다. 먼저 무엇이 보이는지 확인하고, 그다음 필요한 항목만 구조화해서 뽑게 한다. 특히 일정, 장소, 가격, 연락처, 축 제목, 수치, 범례처럼 칸에 넣을 수 있는 정보는 자유서술보다 표나 JSON이 훨씬 낫다.23
예를 들어 행사 포스터라면 이렇게 설계할 수 있다.
첨부한 행사 포스터에서 정보만 추출하라.
출력 형식:
{
"event_name": "",
"date": "",
"time": "",
"location": "",
"price": "",
"registration_method": "",
"contact": "",
"unclear_fields": []
}
규칙:
- 이미지에 명확히 보이는 정보만 채울 것
- 없으면 "N/A"로 표시할 것
- 읽기 어렵거나 애매하면 unclear_fields에 적을 것차트나 대시보드라면 이런 식이 좋다.
첨부한 차트를 분석하라.
먼저 아래 두 단계를 구분해서 작성하라.
1. 관찰: 차트에서 직접 읽히는 사실만 5개
2. 해석: 그 사실이 시사하는 점 3개
추가로 아래를 표로 정리하라.
- 가장 큰 변화
- 가장 낮은 값
- 이상치로 보이는 지점
- 추가 확인이 필요한 데이터
주의: 관찰과 해석을 섞지 말 것이 구분은 아주 중요하다. 관찰은 눈으로 확인되는 사실이고, 해석은 그 사실에 의미를 붙이는 일이다. 둘을 한 문단에 섞으면 답은 매끈해지지만 검증은 어려워진다.
화면 캡처와 UI 이미지는 '디자인 감상'보다 '작업 지시'가 잘 맞는다
앱 화면, 웹페이지 스크린샷, 오류 화면, 피그마 시안 같은 UI 이미지는 또 다른 영역이다. 이런 자료는 "예쁘다/아쉽다" 같은 감상보다, 무엇이 불편한지, 어떤 요소가 보이는지, 어떤 개선안을 내야 하는지가 중요하다. 그래서 UI 이미지 프롬프트는 대체로 역할 지시가 강할수록 좋다.14
예를 들어 디자이너 리뷰와 QA 리뷰는 봐야 할 포인트가 다르다. 디자이너는 시각적 계층, 간격, 강조를 보고, QA 담당자는 버튼 상태, 오류 문구, 흐름 단절을 본다. 같은 이미지를 두고도 질문이 달라야 한다.
당신은 UX 리뷰어다.
첨부한 모바일 화면을 보고 아래 항목별로 점검하라.
- 첫 화면에서 사용자가 바로 이해할 수 있는 행동 1개
- 헷갈릴 수 있는 요소 3개
- 접근성 문제 3개
- 수정 우선순위 제안
출력은 체크리스트 형식으로 작성하라.또는 개발 협업용이라면 이렇게 바꿀 수 있다.
첨부한 UI 시안을 보고 개발 전달용 구현 메모를 작성하라.
포함 항목:
- 주요 컴포넌트 목록
- 상태 변화가 필요한 요소
- 입력 검증이 필요한 필드
- 애매해서 디자이너에게 다시 물어봐야 할 점
보이지 않는 동작은 추정하지 말고 질문으로 남길 것중급 프롬프트에서 중요한 것은, 이미지를 "보는" 단계에서 끝내지 않고 다음 팀원이 바로 이어받을 수 있는 문서로 바꾸는 일이다.
여러 이미지를 함께 쓸 때는 번호를 붙여라
실무에서는 이미지가 한 장으로 끝나지 않는다. 제품 사진 5장, 행사 사진 8장, 화면 캡처 전후 비교 2장처럼 여러 장을 함께 다루는 일이 더 많다. 이때 모델이 헷갈리기 시작하는 가장 빠른 길은 "이 사진들이야, 비교해줘"라고 말하는 것이다.
여러 이미지를 입력할 때는 각 이미지의 역할을 먼저 정하는 편이 훨씬 안정적이다. 예를 들어 1번은 정면, 2번은 측면, 3번은 포장, 4번은 사용 장면처럼 이름을 붙여 주는 것이다.1 비교 작업이라면 전/후, A안/B안, 기존/개선안처럼 축을 고정해야 한다.
다음처럼 쓰면 실수가 줄어든다.
첨부한 이미지를 다음과 같이 본다.
- 이미지 1: 기존 랜딩 페이지
- 이미지 2: 개편안
두 이미지를 비교해 아래 항목으로 정리하라.
- 가장 먼저 눈에 들어오는 요소
- CTA 버튼의 명확성
- 정보 과밀도
- 신뢰 요소의 차이
- 전환율 관점에서 유리한 쪽과 이유
출력은 비교표 + 최종 판단 한 문단이미지가 여러 장일수록 모델은 친절하지만 산만해질 수 있다. 번호와 역할을 붙이는 순간, 비교는 훨씬 또렷해진다.
특정 부분만 보게 하면 결과가 더 정교해진다
복잡한 이미지 전체를 한 번에 해석시키면, 모델은 넓게 보지만 얕게 답하기 쉽다. 반대로 특정 영역이나 특정 대상만 보게 하면 더 정교한 결과가 나올 때가 많다. 예를 들어 "왼쪽 상단 범례만 읽어라", "표 하단 각주만 추출하라", "붉게 표시된 부분만 설명하라"처럼 범위를 좁히는 것이다.6
이 방식은 특히 차트, 슬라이드, 문서 스크린샷, 화이트보드 사진처럼 정보가 많은 시각 자료에서 유용하다. 사람도 복잡한 지도 전체를 한 번에 보지 않고, 먼저 목적지 쪽을 확대해서 보듯이 말이다.
첨부한 슬라이드 이미지를 분석하라.
범위는 오른쪽 상단의 요약 박스와 하단 막대그래프만으로 제한한다.
출력 순서:
1. 박스 안 핵심 메시지 2개
2. 그래프에서 직접 읽히는 수치 변화 3개
3. 두 영역을 함께 보았을 때 생기는 질문 2개
규칙:
- 슬라이드의 다른 부분 정보는 사용하지 말 것
- 읽히지 않는 텍스트는 추정하지 말 것이미지 프롬프트에서도 범위 제한은 강력하다. 넓게 보게 하는 것보다, 필요한 데만 시선을 고정시키는 것이 반복 업무에 더 잘 맞는다.
멀티모달 프롬프트가 특히 흔들리는 순간들
이미지 프롬프트는 재미있고 강력하지만, 유난히 그럴듯하게 틀릴 때가 있다. 그래서 자주 틀리는 지점을 미리 알고 설계하는 편이 낫다.
첫째, 작은 글씨와 저해상도 이미지다. 포스터 하단 연락처, 차트의 미세한 축 라벨, 영수증의 흐릿한 숫자처럼 작고 빽빽한 정보는 잘못 읽기 쉽다.3
둘째, 개수 세기와 위치 관계다. 물체가 많거나 겹치면 숫자가 흔들릴 수 있고, "왼쪽에서 두 번째", "가장 뒤에 있는 사람" 같은 표현도 애매해질 수 있다.23
셋째, 보이지 않는 정보를 너무 쉽게 메우는 경우다. 제품 사진만 보고 재질을 단정하거나, 차트만 보고 원인을 확정하거나, 표정만 보고 감정을 지나치게 해석하는 식이다.
이런 실패를 줄이려면 프롬프트에 안전장치를 넣어야 한다.
확실히 보이는 것과 추정되는 것을 분리하라
읽기 어려운 텍스트는 '불명확'으로 표시하라
개수는 자신 없으면 범위나 불확실성을 함께 말하라
관찰과 해석을 나누어라
중요한 숫자와 고유명사는 사람 검토 대상으로 남겨라
이 문장들은 단순하지만 강하다. 특히 시각 자료 정보 추출에서는 "모르면 모른다고 말하기"가 화려한 설명보다 더 쓸모 있다.
실무에서 바로 쓰는 이미지 프롬프트 워크플로
이미지와 시각 자료 프롬프트도 개별 예문보다 흐름으로 익히는 편이 오래간다. 다음 네 가지 흐름은 활용 범위가 넓다.
제품 이미지 설명 워크플로
입력은 상품 사진 여러 장이다. 처리 단계에서는 제품의 형태, 색상, 눈에 띄는 특징, 사용 장면을 구분한다. 출력은 상세페이지용 요약, 핵심 포인트, 고객 질문 목록으로 만든다. 검증 단계에서는 이미지에 없는 스펙이 섞이지 않았는지 확인한다.
접근성 대체텍스트 워크플로
입력은 뉴스레터 이미지, 배너, 카드뉴스, 기사 사진이다. 처리 단계에서는 장식 요소와 핵심 정보를 나눈다. 출력은 짧고 명확한 대체텍스트다. 검증 단계에서는 그 설명만 들어도 본문 이해가 가능한지 본다.
SNS 캡션 워크플로
입력은 게시용 이미지 또는 사진 모음이다. 처리 단계에서는 이미지에서 살릴 포인트를 정하고, 플랫폼과 목표에 맞게 훅, 본문, CTA를 분리한다. 출력은 플랫폼별 캡션 변형안이다. 검증 단계에서는 브랜드 톤과 길이 제한을 맞춘다.
시각 자료 추출 워크플로
입력은 포스터, 차트, 스크린샷, 대시보드, 화이트보드 사진이다. 처리 단계에서는 먼저 관찰과 추출 항목을 정한다. 출력은 표, JSON, 체크리스트처럼 후속 작업에 붙이기 쉬운 형식이다. 검증 단계에서는 숫자, 날짜, 이름, 연락처를 다시 확인한다.
이 네 흐름을 익혀 두면 이미지 업무도 결국 같은 구조로 정리된다. 입력 확인 → 작업 지정 → 출력 구조화 → 검증. 텍스트 프롬프트와 뼈대는 같다. 달라지는 것은 입력 재료뿐이다.
이미지와 시각 자료 프롬프트의 핵심은 '무엇이 보이냐'보다 '무엇을 하게 하느냐'다
이미지를 다룬다고 해서 프롬프트가 감각적인 일이 되는 것은 아니다. 오히려 더 구조적이어야 한다. 모델은 이미지를 볼 수 있지만, 무엇을 중요하게 볼지는 여전히 당신이 정해 줘야 한다. 이미지 설명이 필요한지, 대체텍스트가 필요한지, SNS 캡션이 필요한지, 아니면 표로 뽑아야 하는지가 먼저다.
중급 단계에서 멀티모달 입력의 진짜 의미는 멋진 기능 하나를 더 쓰는 데 있지 않다. 텍스트로 설명하느라 낭비하던 시간을 줄이고, 시각 자료를 바로 업무 흐름 속으로 끌어오는 것에 있다. 사진은 설명문이 되고, 포스터는 JSON이 되고, 차트는 회의 메모가 되고, 스크린샷은 개선 체크리스트가 된다.
좋은 이미지 프롬프트는 "이거 어때?"를 묻지 않는다. 대신 "이걸로 무엇을 만들어야 하지?"를 묻는다. 그 질문이 붙는 순간, 이미지는 구경거리가 아니라 작업 재료가 된다.
참고
1The Complete Guide to Multimodal Prompting: Text, Images, Audio, and Video in One Prompt
2Multimodal text and image prompting
3Multimodal Prompting: Working with Images and Text Together
4Image prompt engineering techniques - Microsoft Foundry
5PromptCap: Prompt-Guided Task-Aware Image Captioning
6Target Prompting for Information extraction with Vision Language Model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.