22장. 프로젝트 5 — 웹툰·만화 제작 보조 워크플로우
22장. 프로젝트 5 — 웹툰·만화 제작 보조 워크플로우
웹툰과 만화 제작에서 가장 많이 시간을 잡아먹는 일은 의외로 '창작' 그 자체가 아니다. 캐릭터가 지난 컷과 같은 얼굴을 유지하는지 확인하고, 장면마다 의상이 미묘하게 바뀌지 않았는지 맞추고, 러프를 칠로 정리한 뒤 색을 입히고, 대사를 말풍선에 넣으면서 줄바꿈을 다시 잡는 일이 훨씬 오래 걸린다. 좋은 작품은 아이디어에서 나오지만, 마감은 반복 공정에서 무너진다.
이 장의 목표는 바로 그 반복 공정을 줄이는 것이다. 핵심 원칙은 단순하다. 스토리, 연출, 감정선, 컷의 리듬은 사람이 잡고, AI는 일관성 유지와 반복 작업을 맡는다. 다시 말해, 창작은 그대로 지키고 노동만 덜어내는 파이프라인을 설계하는 것이다.
이 프로젝트의 철학: AI는 공동 작가가 아니라 제작 보조팀이다
만화를 AI로 만든다고 하면 종종 두 가지 극단으로 흐른다. 하나는 "전부 자동화하자"는 환상이고, 다른 하나는 "손으로 하는 게 진짜"라는 방어다. 실무에서는 둘 다 오래 못 간다.
가장 생산적인 방식은 AI를 보조팀처럼 쓰는 것이다. 콘티와 감정 연출은 사람이 결정하고, AI는 캐릭터 기준서 생성, 동일 인물의 다양한 포즈 변주, 라인아트 기반 컬러링, 컷 마스크 생성, 대사 삽입 보조 같은 반복 업무를 맡는다. 이 접근이 좋은 이유는 결과물의 저자성이 흐려지지 않으면서도, 가장 피곤한 구간의 시간을 크게 줄일 수 있기 때문이다.
특히 ComfyUI는 이 역할에 잘 맞는다. 워크플로우를 노드 단위로 쪼갤 수 있어서, 캐릭터 생성 블록, 패널 레이아웃 블록, 컬러링 블록, 말풍선 블록을 분리해 관리할 수 있다. 한 번 만든 그래프는 JSON으로 저장되고, 같은 입력에 같은 설정을 넣으면 재현 가능하며, 바뀐 노드부터만 다시 계산하는 식의 운영도 가능하다.1
전체 시스템 구조: 한 컷씩 잘 만드는 것보다, 한 화를 흔들림 없이 만드는 것
이 프로젝트는 한 장의 멋진 이미지를 뽑는 워크플로우가 아니다. 한 화, 혹은 한 권을 안정적으로 생산하는 시스템이다. 그래서 파이프라인도 결과 중심이 아니라 운영 중심으로 설계해야 한다.
권장 구조는 다음과 같다.
캐릭터 기준서 생성
페이지 또는 세로 스크롤 레이아웃 설계
컷별 이미지 생성과 수정
라인아트 정리 및 컬러링
말풍선과 대사 삽입
검수, 리비전, 재출력
이 여섯 단계를 분리해 두면 수정이 훨씬 쉬워진다. 예를 들어 대사가 바뀌어도 컷 이미지를 다시 생성할 필요가 없고, 캐릭터 복장만 수정해도 전체 레이아웃을 건드리지 않아도 된다. 프로덕션에서는 이런 분리가 곧 속도다.
1단계: 캐릭터 기준서를 먼저 만든다
만화 제작 보조 워크플로우에서 가장 먼저 해야 할 일은 '예쁜 일러스트'가 아니라 '기준서'다. 기준서가 없으면 AI는 컷마다 캐릭터를 새로 해석한다. 어제 그린 주인공과 오늘 그린 주인공이 사촌처럼 보이는 이유가 바로 여기 있다.
ComfyUI 생태계에는 단일 입력 이미지에서 정면, 측면, 후면, 감정 변화, 턴테이블, 장면 변주까지 뽑아내는 일관성 중심 캐릭터 워크플로우가 이미 널리 쓰이고 있다.2 이 기능은 웹툰 제작에서 특히 강력하다. 작가가 먼저 '마스터 캐릭터 시트'를 만들어 두면, 이후 모든 컷은 그 시트를 참조하는 방식으로 통일할 수 있기 때문이다.
실전에서는 세 겹 잠금 방식이 가장 안정적이다. 얼굴은 IP-Adapter FaceID나 유사 얼굴 참조 계열로 고정하고, 전신 분위기와 의상은 캐릭터 LoRA로 잡고, 포즈는 ControlNet으로 제어하는 방식이다. 얼굴만 닮고 몸이 계속 바뀌는 문제, 혹은 의상은 맞는데 표정이 흐트러지는 문제를 각각 다른 레이어에서 나눠 다루는 셈이다.3
여기서 중요한 건 레퍼런스 이미지의 품질이다. 정면 1장만 있으면 시작은 되지만, 실무에서는 보통 다음 구성이 더 안정적이다.
중립 표정의 정면 또는 3/4 얼굴
측면 정보가 보이는 보조 이미지
전신 비율이 드러나는 이미지
대표 의상과 대표 헤어스타일이 명확한 이미지
이 기준서를 만들 때는 욕심을 줄이는 편이 좋다. 액세서리, 복잡한 무늬, 머리카락 하이라이트를 한 번에 전부 고정하려 들면 오히려 드리프트가 커진다. 먼저 얼굴형, 눈매, 코, 입, 체형, 기본 복장 실루엣만 잠근 뒤, 세부 장식은 장면별 프롬프트나 후편집으로 더하는 편이 훨씬 안정적이다.
또 하나의 팁은 '표정 시트'를 따로 만드는 것이다. 같은 캐릭터라도 분노, 당황, 울먹임, 무표정이 안정적으로 나오지 않으면 만화에서는 바로 티가 난다. 기준서 단계에서 감정 변주를 미리 확보해 두면 이후 컷 생성이 훨씬 빨라진다.2
2단계: 컷 분할은 그림 생성보다 먼저 설계한다
초보자는 종종 컷 이미지를 먼저 만들고 나중에 페이지에 끼워 넣는다. 그런데 이렇게 하면 패널마다 시점도 다르고, 여백도 어색하고, 읽는 리듬이 끊긴다. 만화는 이미지 모음이 아니라 읽는 흐름의 설계물이다. 그러므로 컷 분할이 먼저다.
ComfyUI용 패널 레이아웃 확장인 comfyui_panels는 페이지를 빈 캔버스에서 시작해 수평 또는 수직 컷을 계층적으로 나누는 방식으로 만화 패널을 구성한다. 결과는 단순한 그림이 아니라 실제 패널 폴리곤 정보로 다룰 수 있어서, 마스크로 변환하거나 외곽선을 따로 그리는 식의 후속 처리와 잘 연결된다.4 다시 말해, "네 칸짜리 페이지 그림"이 아니라 "수정 가능한 레이아웃 데이터"를 만든다는 뜻이다.
이 방식이 좋은 이유는 두 가지다. 첫째, 컷의 비율이 먼저 정해지므로 각 패널 이미지 생성 해상도를 더 합리적으로 잡을 수 있다. 둘째, 나중에 컷 순서를 바꾸거나 간격을 조절할 때 이미지 전체를 다시 만들 필요가 없다.
전통적인 페이지 만화라면 패널을 페이지 단위로 설계하면 되고, 세로 스크롤 웹툰이라면 긴 세로 캔버스를 하나의 페이지처럼 보고 장면 비트 단위로 블록을 나누면 된다. Pixstri 계열의 Page-Row-Frame 구조를 쓰면 한 페이지 안에서 행과 프레임을 계층적으로 배치하며 미리보기를 확인할 수 있어, 웹툰 컷 배치에도 응용하기 좋다.5
여기서 실무 팁 하나. 컷 분할 단계에서는 말풍선 자리도 함께 비워 두는 것이 좋다. AI가 그린 배경 위에 나중에 말풍선을 억지로 올리면 중요한 표정이나 손동작이 가려진다. 그래서 패널 프롬프트에는 "상단 우측에 negative space"처럼 여백 의도를 미리 넣거나, 패널 마스크 단계에서 대사 영역을 가이드 박스로 잡아 두는 편이 훨씬 낫다.
3단계: 컷 생성은 '한 장의 명작'이 아니라 '연속성 있는 시퀀스'로 접근한다
컷별 생성에서는 멋진 단일 이미지보다 시퀀스 일관성이 우선이다. 같은 장면 안에서 카메라 높이, 광원 방향, 캐릭터 키 차이, 복장 디테일이 계속 흔들리면 독자는 무의식적으로 피곤해진다.
이때 가장 잘 먹히는 방식은 캐릭터 시트와 포즈 시트를 결합하는 것이다. 실제로 널리 쓰이는 일관성 워크플로우들은 캐릭터 참조 이미지와 포즈 시트를 입력으로 받아 먼저 중간 결과를 만들고, 그 결과를 다시 업스케일·디테일링한 뒤 최종 장면 생성의 참조로 재활용한다.6 즉, 한 컷씩 즉흥적으로 뽑는 대신, 먼저 캐릭터의 '안전한 기준 이미지'를 확보한 뒤 그 안전 자산을 계속 재사용하는 방식이다.
만화 컷 생성에서는 다음 원칙을 추천한다.
같은 장면 묶음에서는 기본 시드 범위를 유지한다.
얼굴 고정과 포즈 제어를 동시에 쓰되, 둘 중 하나가 지나치게 강해지지 않게 균형을 잡는다.
배경 설명보다 행동과 감정 설명을 우선한다.
한 컷 완성 후 바로 다음 컷으로 넘어가지 말고, 같은 장면의 대체 컷 3~5개를 한 번에 만든다.
특히 디테일러나 업스케일러 단계의 시드를 함부로 랜덤으로 두면, 초안은 같은데 마무리에서 얼굴 인상이 달라지는 일이 생긴다. 일관성 중심 워크플로우에서는 기본 생성뿐 아니라 후처리 단계도 고정 시드 운영이 도움이 된다.7
컷 생성 프롬프트도 만화답게 써야 한다. "beautiful masterpiece" 같은 범용 프롬프트보다 "허리를 숙인 채 숨을 고르는 장면", "문고리를 잡은 손에 힘이 들어간 상태", "웃는 표정이지만 눈은 불안함" 같은 연기 지시가 더 중요하다. 만화는 정지 이미지지만, 독자는 그 안에서 앞뒤 동작을 읽어낸다. 그래서 한 컷 프롬프트는 화려한 수식보다 행동 묘사가 훨씬 큰 힘을 가진다.
4단계: 라인아트와 컬러링은 분리할수록 편해진다
많은 작가가 여기서 가장 큰 체감 효율을 얻는다. 러프나 선화는 직접 그리고, 채색만 AI에게 맡기는 방식이다. 이 조합은 저자성도 분명하고, 동시에 반복 노동도 크게 줄여 준다.
ComfyUI_MangaNinjia 계열은 레퍼런스 이미지를 따라 라인아트를 정밀하게 컬러라이즈하도록 설계된 확장이다. 핵심은 단순 자동 채색이 아니라 '참조 정합성'이다. 즉, 이전 컷에서 정해 둔 피부색, 머리색, 옷 색조를 새 컷 선화에 맞춰 비교적 안정적으로 옮기는 데 강하다. 메모리 사용량을 낮춰 약 8GB VRAM 수준에서도 접근 가능하도록 최적화된 점도 실무적으로 매력적이다.8
이 방식을 쓰면 작업이 훨씬 깔끔해진다. 작가는 콘티와 선화, 혹은 최소한 흑백 기반의 연출을 직접 만든다. 이후 AI는 기준 컷을 참조하여 플랫 컬러나 1차 채색을 넣는다. 마지막으로 사람 손으로 포인트 라이팅과 감정색만 보정한다. 전체를 전부 그릴 때보다 속도가 빨라지고, 전부 생성할 때보다 작품의 주도권을 잃지 않는다.
컬러링 단계에서는 특히 장면 팔레트를 고정하는 습관이 중요하다. 예를 들어 학교 회상 장면은 채도를 낮추고, 현재 시점은 대비를 높이고, 악몽 장면은 보라 계열 그림자를 쓰는 식으로 에피소드별 색 규칙을 먼저 정해 두면 AI가 훨씬 덜 헤맨다. 결국 AI는 규칙이 있을수록 더 유용한 조수다.
5단계: 말풍선은 이미지가 아니라 편집 가능한 레이어로 다룬다
만화 제작에서 말풍선을 이미지 생성 단계에 함께 굽는 방식은 거의 항상 후회로 돌아온다. 대사 수정을 못 하고, 번역도 어렵고, 줄바꿈이 조금만 바뀌어도 전체 컷을 다시 만들어야 하기 때문이다.
그래서 프로덕션 관점에서는 말풍선을 반드시 별도 레이어로 관리해야 한다. 최근에는 대사를 자동으로 말풍선에 배치하거나, 번역 후 다시 버블에 삽입하는 보조 도구도 등장하고 있다. 예를 들어 Imega는 Dialog → Bubble, 번역 후 버블 삽입, ComfyUI와 외부 LLM 연결 같은 흐름을 지원해 대사 후반 작업을 덜어 준다.9 또 Pixstri 계열 플러그인은 패널 레이아웃뿐 아니라 만화 페이지와 말풍선 중심의 순차 예술 워크플로우를 목표로 한다.5
하지만 여기서도 원칙은 같다. 자동 배치는 초안까지만 맡기고, 최종 판단은 사람이 한다. 말풍선은 단순 텍스트 박스가 아니라 연출 장치다. 같은 문장이라도 풍선 크기, 꼬리 방향, 컷 안 위치에 따라 장면의 속도와 감정이 바뀐다. 그러므로 AI에게는 '초벌 배치'를 맡기고, 최종 리듬은 반드시 직접 다듬는 편이 좋다.
실무 팁을 정리하면 이렇다.
컷 이미지는 말풍선 없는 버전으로 보관한다.
대사 데이터는 JSON이나 스프레드시트로 별도 관리한다.
말풍선은 SVG, PSD, 또는 별도 PNG 레이어로 합성한다.
번역 가능성을 고려해 텍스트 박스 여유를 남긴다.
이렇게 해 두면 한국어 연재본, 영어 번역본, 이벤트 축약본을 같은 컷 자산으로 재사용할 수 있다.
6단계: 검수와 리비전이 쉬운 구조로 저장한다
이 프로젝트의 성패는 생성 품질보다 리비전 비용에 달려 있다. 한 컷이 마음에 들게 나오는 것보다, 수정 지시가 들어왔을 때 어디를 다시 돌려야 하는지가 더 중요하다.
ComfyUI는 본질적으로 워크플로우 JSON을 저장하는 구조라서, 캐릭터 블록, 패널 블록, 컬러링 블록, 말풍선 블록을 분리해 두면 수정 범위를 좁히기 쉽다. 또한 같은 입력과 설정으로 다시 실행해 재현성을 확보할 수 있고, 변경된 지점부터 계산을 이어 가는 운영이 가능해 대규모 반복 작업에 유리하다.1
팀 작업이라면 여기에 한 가지가 더 필요하다. 바로 실행 이력과 공용 자산 관리다. 실제 스튜디오 현장에서는 누가 어떤 시드, 어떤 LoRA 강도, 어떤 참조 이미지를 썼는지를 다시 찾지 못해 시간이 새는 일이 많다. 공유 런 히스토리와 공용 에셋 저장소가 있으면 승인된 결과를 팀원이 그대로 불러와 변주를 만들 수 있어, '어제 나온 그 느낌'을 재현하는 비용이 크게 줄어든다.10
폴더 구조도 단순할수록 좋다. 예를 들어 다음처럼 운영하면 실수가 적다.
characters/master: 캐릭터 기준서와 참조 이미지
layouts/episode_05: 컷 분할 JSON과 미리보기
panels/episode_05/scene_03: 컷별 원본과 선택본
color/episode_05: 채색본과 팔레트 참조
text/episode_05: 대사 데이터와 말풍선 레이어
중요한 건 파일명에 버전을 넣는 습관이다. final, final2, really_final 같은 이름은 마감 직전의 재앙이다. episode05_scene03_cut07_v03처럼 구조를 고정하면, 사람이 봐도 찾기 쉽고 자동화하기도 쉽다.
추천 워크플로우 예시: 웹툰 한 화를 만드는 하루
이제 이 시스템을 실제로 한 화 제작에 적용해 보자.
오전에는 작가가 콘티와 감정선, 컷의 우선순위를 정한다. 이 단계는 사람 몫이다. 동시에 ComfyUI에서는 캐릭터 기준서와 대표 표정 시트를 불러온다. 주요 장면에 필요한 포즈 시트나 참고 사진도 함께 정리한다.
이후 패널 레이아웃 노드로 세로 스크롤 구성을 먼저 잡는다. 긴 호흡의 설명 컷은 넓게, 액션 컷은 짧고 날카롭게, 대사 중심 컷은 말풍선 여백을 확보한 형태로 배치한다. 이 레이아웃이 오늘 화의 뼈대다.
점심 전에는 주요 컷 10~15개를 먼저 생성한다. 이때 목표는 완성본이 아니라 장면 승인본이다. 캐릭터 얼굴, 시점, 구도, 감정만 맞으면 된다. 불안정한 컷은 같은 장면 묶음 안에서 여러 후보를 한 번에 뽑아 두고, 오후에 선택한다.
오후에는 선화 기반 컷에 MangaNinjia 계열 컬러링을 적용해 1차 채색을 만들고, 중요한 감정 컷만 사람 손으로 다시 보정한다. 마지막으로 말풍선 초안 배치를 넣고, 줄바꿈과 호흡을 직접 조절한다.
이 흐름의 장점은 명확하다. AI는 반복 공정을 맡고, 사람이 가장 작품다운 결정만 내리게 된다. 결국 체력은 덜 들고, 결과는 더 작가답다.
자주 망가지는 지점과 해결법
만화 보조 워크플로우는 멋져 보이지만, 실제로는 몇 군데에서 자주 무너진다.
첫째, 캐릭터 얼굴만 맞고 체형과 의상이 흔들리는 경우다. 이때는 얼굴 참조만 강화하지 말고, 전신 기준 이미지와 캐릭터 LoRA 비중을 함께 보강해야 한다. 얼굴 문제를 얼굴 도구만으로 풀려 하면 오히려 다른 부위가 더 불안정해진다.3
둘째, 패널마다 광원과 채도가 달라지는 경우다. 이것은 생성 모델의 문제가 아니라 장면 룩 관리 실패인 경우가 많다. 장면별 팔레트 기준 이미지와 공통 후처리 노드를 두어야 한다.
셋째, 말풍선이 들어가자마자 컷이 답답해지는 경우다. 이는 대개 이미지 생성 단계에서 여백을 남기지 않았기 때문이다. 컷은 처음부터 말풍선 없는 완성 이미지가 아니라, 말풍선이 들어갈 공간까지 포함한 반제품으로 생각하는 편이 낫다.
넷째, 수정이 들어올 때마다 처음부터 다시 생성하게 되는 경우다. 이건 그래프가 잘못된 것이다. 캐릭터, 배경, 채색, 텍스트가 한 덩어리로 붙어 있으면 수정이 비싸진다. 워크플로우는 반드시 리비전을 염두에 두고 쪼개야 한다.
이 프로젝트의 핵심 정리
웹툰과 만화에서 ComfyUI의 진짜 강점은 그림을 대신 그리는 데 있지 않다. 캐릭터 기준서를 만들고, 컷 레이아웃을 데이터로 다루고, 라인아트 컬러링을 반복 가능하게 만들고, 말풍선과 대사를 분리 운영하게 만드는 데 있다. 다시 말해, 결과물을 한 번 뽑는 도구가 아니라 제작 체계를 정리하는 도구인 셈이다.
좋은 만화는 결국 사람이 만든다. 다만 그 사람이 밤 3시에 말풍선 줄바꿈 때문에 지치지 않게 도와주는 것이 바로 이 파이프라인의 역할이다. 창작은 사람에게 남기고, 마찰은 시스템이 흡수하게 하라. 웹툰 제작에서 생성형 AI가 가장 생산적으로 쓰이는 자리는 바로 그 지점이다.
참고
1ComfyProd — ComfyUI in Production
2Consistent Character Creator 3.0 | Consistency Made Simple
3ComfyUI Character Consistency Advanced Guide 2026 | Apatero Blog
4GitHub - bmad4ever/comfyui_panels: Comics/Manga like panel layouts. · GitHub
6Consistent AI Characters using Flux in ComfyUI
7Consistent Character Creation with Flux & ComfyUI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.