책에 포함된 노트AI를 잘 쓰는 법: 프롬프트를 넘어 컨텍스트·워크플로·에이전트까지

11부 58장. 이미지 모델을 잘 쓰는 법

2026-04-24Views 22약 9분생성형 AI 활용

11부 58장. 이미지 모델을 잘 쓰는 법

예쁜 그림을 만드는 것과 잘 쓰는 것은 다르다

많은 사람이 이미지 모델을 처음 만날 때 가장 먼저 감탄하는 지점은 비슷하다. "와, 진짜 그럴듯하네." 그런데 실무와 생활에서 더 중요한 질문은 따로 있다. "그래서 이 이미지를 어디에 쓸 수 있지?"이다.

이미지 모델을 잘 쓴다는 것은 단순히 멋진 그림 한 장을 뽑는 일이 아니다. 목적에 맞는 이미지를 만들고, 필요한 정보를 읽어내고, 같은 톤을 반복해서 유지하고, 사람이 마지막 판단을 내리기 쉬운 형태로 결과를 정리하는 일이다. 다시 말해 감상용 결과보다 사용 가능한 결과가 중요하다.

이 차이를 이해하면 이미지 모델을 보는 눈이 달라진다. "고양이 우주비행사"를 잘 만드는 모델도 재미있지만, 더 실용적인 질문은 이런 것이다. 제품 사진에 들어갈 문구를 정확히 넣을 수 있는가? 회의실 화이트보드 사진에서 핵심 항목을 뽑아낼 수 있는가? 같은 브랜드 느낌의 썸네일 열 장을 맞춰 만들 수 있는가? 여기서부터 이미지 모델은 장난감이 아니라 도구가 된다.¹²

먼저 목적부터 나눠라: 생성, 편집, 분석

이미지 모델을 잘 쓰는 첫 번째 원칙은 "무엇을 시킬지"를 정확히 구분하는 것이다. 이미지 관련 작업은 크게 세 갈래로 나뉜다.

없는 이미지를 새로 만드는 생성
기존 이미지를 바꾸는 편집
이미 있는 이미지에서 정보를 읽는 분석

이 셋은 비슷해 보여도 요구하는 지시가 다르다. 생성은 상상력을 구조화하는 일에 가깝다. 편집은 바꿀 것과 유지할 것을 분리하는 일이 핵심이다. 분석은 이미지 전체를 막연히 설명하게 하기보다, 무엇을 읽고 어떤 형식으로 답할지 정해 주는 일이 중요하다.

예를 들어 쇼핑몰 운영자가 "깔끔한 제품 사진 하나 만들어줘"라고 말하면 생성 작업이다. "이 사진에서 배경만 바꿔줘"라고 하면 편집 작업이다. "이 상품 이미지에 적힌 문구와 가격을 표로 뽑아줘"라고 하면 분석 작업이다. 이 셋을 뒤섞으면 결과는 쉽게 흐려진다.

실전에서는 이 세 갈래를 이어 쓰는 경우가 많다. 먼저 상품 이미지를 생성하고, 그다음 배경과 소품을 편집하고, 마지막으로 완성본에 들어간 텍스트와 배치가 맞는지 분석 모델로 점검하는 식이다. 이미지 모델을 잘 쓰는 사람은 한 번의 마법 프롬프트를 찾지 않는다. 대신 작업을 단계로 나눈다.

이미지 생성은 '시각적 브리프'를 쓰는 일이다

텍스트 모델에 질문하듯 이미지 모델에 막연히 말하면, 모델은 평균적인 장면을 꺼내 온다. 그래서 "멋진 카페 사진"이라고 하면 어디서 많이 본 듯한 결과가 나온다. 반대로 잘 되는 프롬프트는 디자이너나 사진가에게 전달하는 브리프처럼 구조가 있다.¹²

가장 실용적인 기본 구조는 다음 여섯 칸으로 이해하면 된다.

주제: 무엇이 나오는가
장면: 어디에서 무엇을 하는가
구도: 어떤 거리와 각도로 보이는가
조명: 빛의 방향과 분위기는 어떤가
스타일: 사진, 일러스트, 포스터, 3D 등 어떤 시각 언어인가
제약: 넣지 말아야 할 것, 꼭 지켜야 할 것

이를테면 "커피 광고 이미지"보다 "무광 검은 머그컵이 새벽 햇빛이 들어오는 미니멀한 주방 조리대 위에 놓여 있다. 3/4 각도, 얕은 심도, 왼쪽 창문광, 차가운 아침 톤, 에디토리얼 제품 사진 스타일, 사람 없음, 로고는 컵 정면 중앙에만"이 훨씬 잘 작동한다. 길어서 좋은 것이 아니라, 결정해야 할 것을 대신 결정해 주기 때문에 좋은 것이다.

초보자는 흔히 형용사를 잔뜩 붙인다. "아름다운, 환상적인, 초고퀄리티, 영화 같은, 엄청난, 미친 디테일…" 이런 말은 기분은 전달하지만 방향은 잘 전달하지 못한다. 이미지 모델은 감탄사보다 강한 시각 신호에 더 잘 반응한다. 렌즈, 앵글, 재질, 시간대, 그림자 방향, 배경 밀도 같은 말이 더 유용하다.²

좋은 이미지는 설명이 아니라 선택에서 나온다

이미지 프롬프트를 잘 쓰는 비결은 사실 많이 쓰는 데 있지 않다. 잘 고르는 데 있다. 무엇을 말할지 못지않게 무엇을 버릴지도 중요하다.

스타일을 예로 들어 보자. "수채화, 실사, 3D 렌더, 애니메이션, 패션 화보, 다큐멘터리 느낌"을 한꺼번에 넣으면 모델은 회의를 시작한다. 그런데 회의는 이미지 생성에 별로 도움이 되지 않는다. 하나의 주된 방향을 정하고, 필요하면 보조 요소를 조금 얹는 편이 안정적이다.²

구도도 마찬가지다. 구도를 지정하지 않으면 모델은 대체로 무난한 정면, 중앙 배치, 평범한 시선을 택한다. 그 결과 "이상하진 않은데 쓸 데도 없는 이미지"가 나온다. 배너용이면 오른쪽 여백을 남겨야 할 수 있고, 썸네일용이면 얼굴 클로즈업이 더 나을 수 있다. 결국 이미지는 예술 이전에 배치다.

그래서 프롬프트를 쓸 때는 이렇게 자문하면 좋다. 이 이미지에서 가장 중요한 것은 피사체인가, 정보 전달인가, 브랜드 톤인가, 감정인가? 우선순위를 정하면 프롬프트가 급격히 좋아진다.

텍스트가 들어간 이미지는 더 구체적으로 지시하라

이미지 안에 글자가 들어가는 작업은 한동안 AI 이미지의 약점으로 유명했다. 하지만 최신 시스템들은 포스터, 패키지, 간판, 인포그래픽, UI 목업처럼 글자와 레이아웃이 중요한 작업에서도 상당히 나아졌다. 다만 이때는 "제목 좀 넣어줘" 식으로 말하면 안 된다.⁵

문구가 중요할수록 세 가지를 분명히 해야 한다.

첫째, 정확한 문자열을 준다. 대충 뜻만 설명하지 말고 실제 문장을 그대로 적는다. 둘째, 역할을 알려 준다. headline인지, subhead인지, 버튼 텍스트인지, 라벨인지에 따라 크기와 위계가 달라진다. 셋째, 위치와 형식을 말한다. 상단 중앙, 얇은 산세리프, 흰색, 한 줄 정렬 같은 식이다.⁵

예를 들어 "여름 세일 포스터"보다 "상단 헤드라인에 'SUMMER SALE', 하단 보조 문구에 'UP TO 40% OFF', 중앙 제품 사진, 좌측 상단 로고, 세로 9:16 포스터"가 훨씬 낫다. 이미지 모델은 마음을 읽는 도구가 아니라 레이아웃을 추정하는 도구이기 때문이다.

참고 이미지는 말보다 강하다

텍스트만으로 설명하기 어려운 작업이 있다. 같은 인물, 같은 브랜드, 같은 제품 재질, 같은 일러스트 톤처럼 "비슷함"이 중요한 경우다. 이때는 참고 이미지를 쓰는 편이 훨씬 유리하다.¹

참고 이미지를 붙일 때 중요한 것은 단순히 많이 넣는 것이 아니다. 각 이미지의 역할을 분리해야 한다. 어느 이미지는 인물 얼굴 기준, 어느 이미지는 의상 기준, 어느 이미지는 조명 기준, 어느 이미지는 배경 톤 기준으로 쓰는 식이다. 그러면 모델이 덜 헷갈린다.

편집에서도 같은 원리가 적용된다. "배경을 밤으로 바꿔줘"라고만 말하면 얼굴 색, 그림자, 반사광까지 같이 흔들릴 수 있다. 더 좋은 지시는 "배경만 비 오는 밤거리로 변경, 인물의 얼굴 방향과 표정은 유지, 옷과 로고는 변경 금지, 얼굴에 닿는 주광 방향 유지"처럼 바꿀 것과 고정할 것을 나눠 말하는 것이다.¹

이미지 모델은 기억력이 좋은 비서가 아니라 흔들리기 쉬운 협업자에 가깝다. 그래서 반복 수정할수록 "유지 목록"이 중요해진다.

분석 모델은 '보는 AI'가 아니라 '읽는 AI'로 써야 한다

이미지 분석에서도 초보자는 흔히 이렇게 묻는다. "이 사진 좀 분석해줘." 하지만 이런 질문은 너무 넓다. 사진 속에서 텍스트를 읽고 싶은지, 물체를 세고 싶은지, 문제를 찾고 싶은지, 장면을 요약하고 싶은지에 따라 답이 완전히 달라진다.

현대의 비전 시스템은 꽤 다양한 일을 할 수 있다. 이미지 속 텍스트를 읽는 OCR, 물체와 사람을 찾는 감지, 장면을 문장으로 설명하는 캡션, 특정 영역을 나누는 분할, 이미지와 텍스트를 함께 다루는 멀티모달 이해까지 이미 여러 서비스에서 제공되고 있다.³⁴

실무에서 자주 쓰이는 분석 작업은 대체로 다음과 같다.

문서, 영수증, 슬라이드, 간판에서 글자를 읽어 표로 정리하기
사진 속 객체나 사람, 상품, 로고의 존재 여부를 확인하기
대시보드, 차트, 스크린샷을 읽고 핵심 내용을 요약하기
썸네일, 배너, 상품 사진의 일관성이나 오류를 점검하기

중요한 것은 분석 모델에 "무엇을 봐야 하는지"와 "어떻게 답해야 하는지"를 동시에 주는 것이다. 예를 들어 "이 영수증에서 상호명, 날짜, 총액만 JSON으로 추출해줘"는 좋은 질문이다. 반면 "영수증 좀 읽어줘"는 사람이 다시 손봐야 할 답을 부르기 쉽다.

이미지 분석에서 질문의 품질을 높이는 법

이미지 분석은 시력이 좋은 모델을 쓰는 것만으로 끝나지 않는다. 질문 설계가 품질을 크게 좌우한다. 특히 네 가지가 중요하다.

첫째, 관심 범위를 좁혀라. 전체 이미지를 무조건 다 설명하게 하지 말고 좌측 상단 차트, 중앙 표, 포장지 라벨처럼 대상을 좁힌다.

둘째, 작업 유형을 분명히 하라. 읽기, 세기, 분류, 비교, 오류 찾기, 요약하기 중 무엇인지 명시한다.

셋째, 출력 형식을 고정하라. 표, JSON, 체크리스트, 짧은 캡션처럼 결과 형식을 정하면 후처리가 쉬워진다.

넷째, 불확실성을 허용하라. 잘 안 보이면 추정하지 말고 "불명확"이라고 표시하라고 지시하는 편이 신뢰도가 높다.

예를 들어 회의실 화이트보드 사진을 넣고 "회의 내용을 정리해줘"라고 하면 멋진 소설이 나올 수 있다. 하지만 "화이트보드에 적힌 항목을 1) 할 일 2) 담당자 3) 마감일로 나눠 표로 정리하고, 읽기 어려운 항목은 '확인 필요'로 표시해줘"라고 하면 바로 사용할 수 있는 결과가 나온다.

'멋있어 보인다'와 '브리프에 맞다'를 구분하라

이미지 작업에서 가장 흔한 함정은 결과가 그럴듯하면 성공이라고 착각하는 것이다. 하지만 실전에서는 멋보다 일치가 더 중요하다. 예쁜 광고 이미지라도 제품 색상이 틀리면 실패고, 인포그래픽이 화려해도 수치가 틀리면 더 큰 실패다.²

그래서 이미지는 느낌으로만 평가하면 안 된다. 항목별로 봐야 한다. 주제는 맞는가, 텍스트는 정확한가, 구도는 목적에 맞는가, 브랜드 톤은 유지되는가, 사람 손이나 로고 같은 오류는 없는가, 여러 장이 한 세트처럼 보이는가. 이런 식으로 쪼개서 봐야 한다.

이 원칙은 생성에도, 분석에도 똑같이 적용된다. 생성에서는 브리프 충실도를 보고, 분석에서는 추출 정확도와 누락 여부를 본다. 한마디로 말해 "멋짐"은 보너스이고, "적합함"이 본점수다.

어떤 모델을 쓸지도 작업이 결정한다

이미지 모델마다 성격이 꽤 다르다. 어떤 모델은 대화형 수정이 편하고, 어떤 모델은 파라미터 제어가 강하고, 어떤 모델은 로컬 실행과 세밀한 통제가 장점이며, 어떤 모델은 텍스트 렌더링이나 상업적 워크플로에 강하다.²

그래서 모델 선택은 취향보다 과업으로 해야 한다. 예술적 콘셉트 탐색이 목적이면 스타일이 강한 모델이 좋다. 광고 배너나 UI 목업처럼 글자와 정렬이 중요하면 텍스트 렌더링이 강한 모델이 낫다. 동일 인물과 동일 제품을 오래 반복해야 하면 참조 이미지, 편집, 로컬 제어가 잘 되는 쪽이 유리하다. 문서 읽기, OCR, 객체 탐지, 캡션, 임베딩 검색 같은 분석 작업은 전통적인 비전 API나 멀티모달 분석 모델이 더 맞을 때가 많다.³⁴

한 모델로 모든 문제를 해결하려고 하면 오히려 불편해진다. 이미지 분야에서도 "모델 라우팅" 사고가 필요하다. 즉, 작업에 따라 도구를 바꾸는 습관이 중요하다.

실용적인 이미지 활용은 이렇게 시작된다

이미지 모델을 생활과 업무에 붙이는 쉬운 방법은 거창한 창작보다 반복 작업부터 바꾸는 것이다.

마케터라면 제품 이미지를 생성한 뒤 광고 문구가 들어간 배너 시안을 여러 비율로 뽑고, 분석 모델로 텍스트 오탈자와 배치 오류를 점검할 수 있다. 기획자라면 화이트보드 사진, 앱 스크린샷, 경쟁사 배너를 분석해 핵심 요소를 비교표로 만들 수 있다. 쇼핑몰 운영자는 상품 사진의 배경 톤을 맞추고, 상세페이지용 컷을 여러 버전으로 만들고, 라벨 문구를 다시 검수할 수 있다. 학습자는 도표, 필기 사진, 슬라이드 스크린샷을 넣어 요약과 질문 생성을 자동화할 수 있다.

여기서 중요한 포인트는 하나다. 이미지를 결과물로만 보지 말고, 입력 데이터이자 중간 산출물로 보라는 것이다. 그러면 이미지 모델은 그림 생성기에서 업무 가속기로 바뀐다.