13장. 영상 후처리와 확장 워크플로우

좋은 AI 영상은 생성 버튼을 누르는 순간 완성되지 않는다. 오히려 그때부터가 진짜 시작이다. 12fps로 덜컥거리는 움직임, 조금 흐린 얼굴, 어딘가 어색한 입술, 멋지지만 납품 규격에 못 미치는 해상도는 대부분 후처리 단계에서 정리된다. 실무에서는 이 차이가 아주 크다. 시안 단계에서는 "오, 된다"로 통하지만, 납품 단계에서는 "왜 이렇게 흔들리죠?", "얼굴이 프레임마다 조금씩 달라요", "4K 마스터는 없나요?"라는 질문이 바로 돌아온다.

그래서 프로덕션 관점의 ComfyUI는 생성기라기보다 후반 작업실에 가깝다. Wan 2.2나 LTX-2로 장면의 뼈대를 만들고, 그 뒤에 프레임 보간, 업스케일, 립싱크, 토킹헤드 보정, 스타일 트랜스퍼를 얹어 결과물을 다듬는다. 한마디로 말해, 생성이 초벌이라면 후처리는 납품 품질을 만드는 편집·후반·마스터링 단계다.

이 장에서는 바로 그 마지막 30퍼센트를 다룬다. 체감상 가장 피곤하지만, 결과 차이는 가장 크게 나는 구간이다. 잘 만든 5초짜리 영상을 "재밌는 데모"에서 "돈 받고 넘길 수 있는 컷"으로 끌어올리는 과정이라고 생각하면 된다.

13.1 프레임 보간 (RIFE, FILM)으로 60fps 만들기

AI 영상은 여전히 낮은 FPS에서 시작하는 경우가 많다. 12fps, 16fps, 24fps는 미리보기에는 괜찮아 보여도, 카메라가 미끄러지듯 움직이거나 인물이 고개를 돌리는 순간 계단처럼 끊겨 보인다. 이때 쓰는 것이 프레임 보간이다. 프레임 보간은 기존 프레임 사이에 중간 프레임을 만들어 넣어 움직임을 더 부드럽게 보이게 하는 기술이다. ComfyUI는 이 과정을 별도 템플릿과 모듈형 워크플로우로 제공하고, 이를 독립적인 전처리 또는 후처리 블록처럼 재사용할 수 있게 설계하고 있다.¹

ComfyUI 쪽 프레임 보간 확장은 생각보다 선택지가 넓다. RIFE, FILM, AMT, GMFSS, IFRNet 같은 모델이 노드로 제공되고, 메모리 관리도 예전보다 훨씬 나아졌다.² 다만 실무에서 자주 손이 가는 것은 결국 두 계열이다. RIFE는 빠르고 무난한 범용형, FILM은 큰 움직임과 가려짐 처리에서 더 안정적인 편이라고 이해하면 시작이 쉽다.²

가장 중요한 원칙은 단순하다. 보간은 틀린 움직임을 고쳐 주지 않는다. 원본 프레임이 이미 무너져 있다면, 보간은 그 무너진 상태를 더 부드럽게 이어 붙일 뿐이다. 입이 프레임마다 사라졌다 나타나거나 손가락이 순간이동하면, 중간 프레임도 똑같이 자신감 있게 틀린다. 그래서 보간은 "품질 향상 마법"이 아니라 "이미 괜찮은 움직임을 더 보기 좋게 만드는 단계"로 이해해야 한다.

실전 순서는 이렇게 잡으면 안정적이다.

1. 원본 영상의 FPS와 프레임 수를 먼저 확인한다.

2. 바로 4배나 8배로 올리지 말고, 먼저 2배 보간으로 테스트한다.

3. 얼굴, 손, 빠른 회전처럼 깨지기 쉬운 구간만 먼저 확인한다.

4. 문제가 없을 때 30fps, 48fps, 60fps 중 납품 목표에 맞춰 최종 배수를 정한다.

예를 들어 15fps 소스라면 2배 보간으로 30fps, 4배 보간으로 60fps를 만들 수 있다. 이때 꼭 기억할 것이 하나 있다. 출력 FPS는 보간 배수와 맞아야 한다. 15fps 영상을 2배 보간했는데 Video Combine에서 15fps로 저장하면, 힘들게 만든 중간 프레임을 다시 버리는 셈이다.

VRAM이 빠듯한 환경이라면 프레임 보간 노드의 메모리 옵션도 중요하다. ComfyUI-Frame-Interpolation 계열은 clear_cache_after_n_frames 같은 설정으로 OOM 위험을 낮출 수 있고, 처리 속도와 안정성을 맞바꾸는 식으로 운영할 수 있다.² 긴 영상에서는 욕심내지 말고 샷 단위로 잘라 처리하는 편이 훨씬 안전하다. 실무에서는 30초 전체를 한 번에 돌리다 밤을 새우는 사람보다, 5초씩 정확하게 끊어 마감하는 사람이 더 빨리 퇴근한다.

또 하나 기억할 점은, 프레임 보간은 꼭 마지막 단계일 필요만은 없다는 것이다. ComfyUI 공식 워크플로우 설명처럼, 낮은 FPS로 생성된 영상을 먼저 보간해 시간축을 안정화한 뒤 그 결과를 다음 비디오 파이프라인에 넣는 방식도 가능하다.¹ 즉, 보간은 후처리이면서 동시에 다음 단계를 위한 전처리이기도 하다. 이 사고방식이 생기면 그래프 설계가 훨씬 유연해진다.

13.2 비디오 업스케일 — Topaz vs ComfyUI 내부 노드

영상 업스케일에서 가장 먼저 구분해야 할 것은 해상도를 키우는 것과 보기 좋은 품질로 보정하는 것이 서로 완전히 같지는 않다는 점이다. ComfyUI 공식 문서도 업스케일과 향상(enhancement)을 구분해서 설명한다. 업스케일은 픽셀 수를 늘리는 일이고, 향상은 선명화, 복원, 노이즈 제거, 시간축 일관성 보정까지 포함하는 더 넓은 개념이다.³⁴

이 차이를 모르면 자주 생기는 오해가 있다. "4K로 올렸는데 왜 더 좋아 보이지 않죠?" 해상도는 커졌지만, 원본의 떨림과 뭉개짐과 얼굴 아티팩트가 그대로라면 화면만 커진 것이다. 커진다고 다 좋아지는 것은 아니다. 흐린 셀카를 전광판 크기로 키운다고 갑자기 배우 프로필이 되지는 않는다.

2026년 기준 ComfyUI 안에서의 선택지는 크게 두 갈래로 보면 편하다. 하나는 로컬 중심의 내부·커스텀 노드 업스케일 경로, 다른 하나는 Topaz 같은 파트너 노드 기반의 고급 후처리 경로다.³⁴

공식 가이드는 품질 우선이라면 SeedVR2와 HitPaw가 정확성과 일관성에서 강하고, 속도 우선이라면 FlashVSR이 매우 빠르며, AI 생성 영상의 거친 느낌을 고치는 용도라면 Topaz Astra Creative가 특히 강하다고 정리한다.³⁴ 여기서 실무적으로 중요한 해석은 이렇다. 원본을 충실히 보존해야 하면 보수적인 모델, 원본이 이미 AI스러워서 한 번 더 다듬어야 하면 창의적인 모델이 유리하다.

Topaz와 ComfyUI 내부 노드를 비교할 때도 이 기준이 유효하다. Topaz 계열은 결과가 더 "후반 작업을 거친 느낌"으로 나오는 경우가 많다. 반면 로컬 내부 노드, 특히 비확산(non-diffusion) 업스케일러는 더 빠르고, 프레임 간 일관성을 유지하며, 반복 작업에 유리하다.⁵ 긴 영상 여러 편을 배치로 돌려야 하는 팀이라면 후자가 훨씬 생산적일 수 있다.

로컬 처리만 생각한다면, 메모리 효율형 업스케일 노드도 매우 실용적이다. ComfyUI-VideoUpscale_WithModel 같은 노드는 ESRGAN 계열 비확산 업스케일 모델을 프레임 단위로 처리하면서 auto, keep_loaded, load_unload_each_frame, cpu_only 같은 메모리 전략을 제공한다.⁵ 쉽게 말하면, GPU가 넉넉하면 빨리 달리고, VRAM이 적으면 천천히라도 끝까지 가는 쪽을 선택할 수 있다는 뜻이다.

업스케일 순서는 대체로 이렇게 잡으면 실패율이 낮다.

1. 먼저 깜빡임, 뭉개짐, 얼굴 오류 같은 큰 문제를 가볍게 정리한다.

2. 720p나 960p 소스를 곧장 4K로 뛰우기보다, 먼저 1080p 정도로 올려 결과를 확인한다.

3. 필요하면 프레임 보간으로 시간축을 부드럽게 만든다.

4. 마지막에 1440p나 4K 최종 납품 해상도로 올린다.

ComfyUI 공식 업스케일 문서와 핸드북도 AI 영상에서는 한 번에 과격하게 키우기보다, 먼저 정리하고 그다음 점진적으로 1080p, 4K로 올리는 접근이 더 안정적이라고 설명한다.³⁴ 이 순서가 좋은 이유는 간단하다. 심하게 흔들리는 영상을 4K로 키우면 흔들림도 4K가 되기 때문이다.

얼굴 보정도 조심해야 한다. 일부 워크플로우는 CodeFormer 같은 얼굴 복원기를 옵션으로 붙여 주지만, 얼굴이 매 프레임 조금씩 다른 영상에서는 오히려 미세한 깜빡임을 만들 수 있다.⁶ 정적인 인터뷰 컷에서는 도움이 되지만, 표정 변화가 큰 장면에서는 꼭 짧은 샘플로 먼저 확인하는 습관이 필요하다.

한 줄로 정리하면 이렇다. 내부 노드는 반복 생산과 제어에 강하고, Topaz는 마지막 광택과 문제 해결에 강하다. 예산, 속도, 원본 상태 중 무엇이 더 중요한지에 따라 선택하면 된다.

13.3 립싱크와 토킹헤드 (4K Portrait Animation)

사람은 해상도보다 얼굴에 더 민감하다. 배경이 조금 흐린 것은 넘어가도, 말할 때 입 모양이 반 박자 늦거나 치아가 프레임마다 번쩍거리면 바로 거슬린다. 그래서 인물 영상에서는 업스케일보다 먼저 립싱크와 얼굴 움직임의 신뢰감을 잡아야 한다.

여기서 먼저 구분할 개념이 있다. 립싱크는 이미 존재하는 얼굴 영상에 오디오를 맞추는 작업이고, 토킹헤드는 정지 초상이나 짧은 얼굴 클립을 말하는 인물 영상처럼 만드는 작업이다. 둘은 비슷해 보여도 목표가 다르다. 전자는 "입을 맞춘다"가 핵심이고, 후자는 "사람이 실제로 말하는 듯 보이게 한다"가 핵심이다.

ComfyUI에서 빠르게 시작하기 좋은 쪽은 Wav2Lip 계열이다. 이 노드는 프레임 시퀀스와 오디오를 받아 입 모양을 맞춘 결과를 내놓고, sequential과 repetitive 모드, face_detect_batch 같은 기본 제어도 제공한다.⁷⁸ 오디오 샘플레이트는 16kHz 기준이 권장되고, 입력 프레임 해상도가 높을수록 결과도 좋아지는 편이다.⁷

반면 최종 품질 쪽으로 한 단계 더 가고 싶다면 LatentSync 1.6이 더 흥미롭다. 이 래퍼는 512×512 해상도로 다시 학습된 체크포인트를 써서 이전 버전의 흐릿한 입술·치아 문제를 크게 줄였고, 20GB VRAM 환경에서도 돌아가도록 최적화되어 있다.⁹ 대신 조건도 더 까다롭다. 정면에 가까운 얼굴, 계속 보이는 얼굴, 25fps 기준의 영상이 가장 잘 맞고, 애니·카툰 얼굴에는 적합하지 않다.⁹

실무에서 "4K Portrait Animation"을 만들 때 흔한 실수는 처음부터 4K로 얼굴 애니메이션을 만들려는 것이다. 이건 대개 비효율적이다. 훨씬 현실적인 방법은 얼굴 움직임과 립싱크를 먼저 안정화하고, 그다음 4K로 올리는 것이다. 특히 립싱크 모델은 입력 품질과 얼굴 정렬 상태의 영향을 크게 받기 때문에, 무리하게 해상도부터 올리기보다 샷 구조를 먼저 단단하게 만드는 편이 성공률이 높다.

실전 파이프라인은 대체로 아래 순서가 안정적이다.

1. 정면 또는 준정면 초상 이미지를 만든다. 얼굴이 화면에서 충분히 크게 보여야 한다.

2. 3초에서 8초 정도의 짧은 토킹 샷으로 먼저 움직임을 만든다. 고개 회전은 작게, 표정 변화는 과하지 않게 잡는다.

3. Wav2Lip 또는 LatentSync로 오디오를 맞춘다. 빠른 시안은 Wav2Lip, 최종본은 LatentSync가 편하다.

4. 립싱크가 안정화된 뒤에 보수적인 업스케일로 4K 마스터를 만든다.

검수 포인트도 미리 정해 두면 좋다. 자음이 닫히는 순간, 특히 ㅁ·ㅂ·ㅍ 계열에서 입이 제대로 닫히는지, 웃을 때 치아가 프레임마다 출렁이지 않는지, 측면으로 살짝 돌아갈 때 입이 얼굴 밖으로 밀리지 않는지부터 본다. 이 세 가지만 잡아도 "AI가 말하는 느낌"이 "사람이 말하는 느낌" 쪽으로 훨씬 가까워진다.

토킹헤드에서 또 하나 중요한 것은 오디오 길이와 샷 길이를 억지로 늘리지 않는 것이다. 긴 대사를 한 번에 우겨 넣으면 얼굴 모델이 지치고, 보는 사람도 지친다. 짧은 문장 단위로 컷을 나누고, 컷 사이를 B-roll이나 자막으로 연결하는 편이 훨씬 프로덕션스럽다.

13.4 AnimateDiff와 비디오 스타일 트랜스퍼

후처리의 마지막 단계는 종종 "더 선명하게"가 아니라 "더 특정한 분위기로" 가는 일이다. 현실적인 제품 영상을 만화풍으로 바꾸거나, 인터뷰 영상을 일러스트풍 애니메이션처럼 보이게 만들거나, 이미 생성된 AI 비디오를 하나의 시각 언어로 통일하는 작업이 여기에 들어간다. 이때 핵심은 새 영상을 처음부터 다시 만드는 것이 아니라, 이미 확보한 시간축을 유지하면서 스타일만 바꾸는 것이다.

ComfyUI에서 이 작업이 강력한 이유는 전처리 블록을 떼어 쓸 수 있기 때문이다. 공식 워크플로우는 depth, lineart, pose, normals, frame interpolation 같은 전처리 결과를 독립적인 모듈로 다룰 수 있게 정리해 두고 있고, 이 구조 신호를 더 큰 비디오 그래프에 꽂아 넣는 식의 설계를 권장한다.¹ 말하자면, 스타일은 바꿔도 뼈대는 남길 수 있다는 뜻이다.

실무적으로는 두 가지 경로가 가장 많이 쓰인다. 하나는 Vid2Vid 스타일 트랜스퍼, 다른 하나는 AnimateDiff 같은 모션 일관성 레이어를 활용한 스타일화다. SDXL 기반 Vid2Vid 워크플로우는 원본 비디오의 구조를 유지하면서 목표 스타일로 바꾸는 데 유용하고,¹⁰ Wan 2.1 계열의 스타일화 예제는 lineart와 depth를 함께 써서 형태와 공간감을 동시에 붙잡는 방식을 보여 준다.¹¹

여기서 중요한 판단 기준은 "얼마나 많이 바꿀 것인가"다.

AnimateDiff는 이런 작업에서 특히 유용한 사고방식을 준다. 장면의 모션 리듬을 존중하면서 프레임 간 연결을 덜 망가뜨리는 쪽으로 스타일을 입힌다는 점이다. 그래서 스타일 트랜스퍼를 할 때도 "한 장 한 장 예쁘게"보다 "앞뒤 프레임과 이어졌을 때 자연스러운가"를 먼저 봐야 한다. 한 프레임만 캡처하면 멋진데 영상으로 보면 번쩍거리면, 그건 스타일이 아니라 깜빡임이다.

안전한 스타일 트랜스퍼 순서는 보통 이렇다.

1. 원본 영상에서 가장 중요한 구조 신호를 정한다. 인물 중심이면 pose, 공간 중심이면 depth, 외곽 정확도가 중요하면 lineart가 우선이다.

2. 프롬프트는 프레임마다 바꾸지 말고, 장면 단위로 고정한다.

3. 처음에는 낮은 변형 강도로 시작해 원본 구조가 얼마나 유지되는지 확인한다.

4. 스타일이 충분히 올라왔는지, 대신 얼굴과 손과 글자가 얼마나 깨지는지 같이 본다.

5. 최종적으로 보간과 업스케일은 스타일 트랜스퍼 이후 샷에 맞춰 다시 조정한다.

이 과정에서 자주 잊히는 것이 있다. 스타일은 구조 위에 올라갈 때 가장 안정적이라는 점이다. lineart와 depth를 함께 쓰는 예제가 실전에서 자주 먹히는 이유도 여기에 있다.¹¹ 외곽선은 형태를 지키고, 깊이 정보는 공간의 앞뒤를 지켜 준다. 그래서 단순히 "만화풍으로 바꿔 줘"라고 밀어붙이는 것보다, "이 구조를 유지한 채 만화풍으로 바꿔 줘"라고 요청하는 편이 훨씬 덜 흔들린다.

또한 스타일 트랜스퍼는 보간과 업스케일의 순서에 영향을 준다. 아주 강한 스타일화를 먼저 한 뒤 보간하면 중간 프레임이 더 자연스럽게 이어질 수 있지만, 반대로 미세한 질감이 보간 과정에서 흐려질 수도 있다. 반면 먼저 보간한 뒤 스타일을 입히면 움직임은 더 안정적이지만 프레임 수가 많아져 처리 비용이 커진다. 그래서 이 구간은 정답보다 샷 성격에 맞는 선택이 중요하다. 인물 중심 숏폼이라면 먼저 립싱크와 시간축을 잠그고 스타일을 얹는 편이 좋고, 분위기 중심 비주얼 영상이라면 스타일을 먼저 확정하고 마지막에 부드럽게 다듬는 편이 더 낫다.¹²

프로덕션용 마감 체크리스트

후처리는 기능이 많아서 자꾸 복잡해 보이지만, 납품 관점에서는 결국 네 가지 질문으로 정리된다. 움직임이 자연스러운가, 해상도가 충분한가, 얼굴이 믿을 만한가, 스타일이 끝까지 일관되는가. 이 네 가지를 놓치지 않으면 대부분의 실수는 크게 줄어든다.

실무에서는 아래 순서로 확인하면 좋다.

1. 모션 검사: 1배속과 0.5배속으로 보며 끊김, 순간이동, 깜빡임을 찾는다.

2. 얼굴 검사: 입술, 치아, 눈, 귀, 머리카락 경계가 프레임마다 흔들리는지 본다.

3. 해상도 검사: 100% 확대 상태에서 피부, 제품 라벨, 텍스트 가장자리를 확인한다.

4. 스타일 검사: 컷 안에서 색감과 선질이 갑자기 바뀌지 않는지 본다.

5. 납품 검사: FPS, 해상도, 코덱, 길이, 오디오 싱크가 클라이언트 요구와 맞는지 최종 확인한다.

결국 좋은 생성만으로는 부족하다. 프로덕션 품질은 후처리에서 완성된다. 프레임 보간은 시간축을 정리하고, 업스케일은 전달력을 올리고, 립싱크는 인물의 신뢰도를 만들고, 스타일 트랜스퍼는 결과물의 정체성을 완성한다. 이 네 단계가 연결되는 순간, ComfyUI의 영상 파이프라인은 단순한 실험 도구가 아니라 진짜 제작 시스템이 된다.

참고

¹Preprocessor and Frame Interpolation Workflows in ComfyUI

²ComfyUI-Frame-Interpolation - GitHub

³Video upscaling in ComfyUI

⁴The Complete AI Upscaling Handbook: All in ComfyUI

⁵ComfyUI-VideoUpscale_WithModel - GitHub

⁶How to Upscale Videos in ComfyUI

⁷Wav2Lip Node Documentation (ComfyUI_wav2lip)

⁸ComfyUI_wav2lip - GitHub

⁹ComfyUI-LatentSyncWrapper - GitHub

¹⁰ComfyUI Vid2Vid Workflow Part 2 | SDXL Style Transfer

¹¹Transform Your Videos into Stylized Animations with Advanced AI Technology

¹²Video Generation in ComfyUI - Turning Frames into Fire