애니메이터와 AI 연구원은 어떻게 ‘Dear Upstairs Neighbors’를 만들었나

‘Dear Upstairs Neighbors’는 “AI가 애니메이션을 대신 만든다”는 이야기가 아니라, 애니메이터가 원하는 연출을 더 빠르고 더 멀리 밀어붙이도록 AI를 ‘도구화’한 사례입니다. 선댄스 영화제의 스토리 포럼에서 공개된 이 단편은, 손맛 나는 페인터리 스타일과 코믹한 타이밍을 유지하면서도 생성형 AI의 확장성과 유연함을 끌어낸 제작 워크플로를 보여줍니다.¹

이 글에서는 영화의 설정(잠 못 드는 주인공 ‘아다’)부터, 스타일 학습(미세 조정), 움직임 제어(비디오-투-비디오), 부분 수정(로컬 정제), 4K 마무리(업스케일)까지 “어떻게 만들었는지”를 한 번에 이해할 수 있게 정리해볼게요.

선댄스에서 공개된 ‘아티스트-퍼스트’ AI 애니메이션 실험

이 프로젝트는 베테랑 애니메이터 팀과 Google DeepMind 연구진이 함께 붙어서, “예술가의 통제력을 잃지 않으면서 AI를 현업 파이프라인에 넣을 수 있을까?”를 실전으로 시험한 케이스입니다.¹

줄거리는 단순해요. 주인공 아다는 위층의 소음 때문에 잠을 못 자고, 그 소음의 정체를 상상하는 순간 현실이 점점 판타지로 튀어 오릅니다. 즉, 상상 장면이 계속 과장되며 폭주하는 구조라서 ‘스타일 일관성’과 ‘타이밍’이 무너지면 영화 자체가 바로 흔들리는 설정이죠.²

미세 조정(fine-tuning): ‘우리 영화만의 붓터치’를 AI에게 가르치기

생성형 비디오/이미지 모델은 기본 상태로도 그럴싸한 화면을 만들지만, 컷이 바뀔 때마다 캐릭터 얼굴이 바뀌거나 채색 질감이 흔들리면 애니메이션에선 치명적입니다. 그래서 팀은 영화에 필요한 맞춤형 아트워크를 기반으로 모델을 미세 조정해, 특정한 캐릭터 디자인과 페인터리 스타일을 “학습된 습관”처럼 만들었습니다.¹

여기서 포인트는 “프롬프트를 잘 쓰는 법”이 아니라 “모델의 취향 자체를 영화 쪽으로 훈련”했다는 점이에요. 결과적으로 같은 캐릭터가 여러 장면을 뛰어다녀도, 관객 입장에서는 한 명의 ‘아다’로 계속 보일 가능성이 높아집니다.

비디오-투-비디오 워크플로: 애니메이터가 ‘움직임을 직접 지휘’하는 방식

이 영화의 핵심은 비디오-투-비디오(video-to-video) 접근입니다. 쉽게 말해, 애니메이터가 먼저 러프 애니메이션(혹은 연기/움직임 가이드에 가까운 영상)을 만들어 “이렇게 움직여”라고 시각적으로 지시하고, AI가 그 움직임을 따라가며 최종 스타일로 변환하는 흐름이죠.²

텍스트만으로 “0.3초 늦게 놀라고, 0.2초 쉬었다가, 시선은 먼저 위로” 같은 코믹 타이밍을 고정하기는 어렵습니다. 반면 애니메이터는 원래 타임시트와 포즈, 액팅으로 장면을 설계하는 사람들이고요. 이 워크플로는 그 강점을 그대로 살린 채, 렌더링과 스타일링 구간에서 AI를 쓰는 방식이라 “AI가 연출을 먹어버리는” 느낌이 덜합니다.

생성형 영상에서 가장 괴로운 순간은 이거죠. “거의 완벽한데… 손가락이 이상해.” 그런데 다시 생성하면 이번엔 표정이 무너지고, 다음엔 배경이 바뀌고…

팀은 이런 문제를 줄이기 위해, 영상의 특정 영역만 골라 업데이트하는 로컬 정제 도구를 활용했습니다.¹² 즉, 전체를 리셋하지 않고 문제 부위만 수선하면서 반복할 수 있게 만든 거예요. 전통 애니메이션의 ‘부분 수정’ 감각을 생성형 파이프라인에 이식한 셈이라, 실무 관점에서 체감 효율이 큽니다.

Veo 업스케일링으로 4K 마무리: 디테일은 올리고, 스타일은 지키고

실험 단편이든 영화제 상영작이든, 최종 납품 단계에선 해상도와 디테일이 발목을 잡습니다. 이 프로젝트에선 Veo를 활용해 최종 샷을 4K로 업스케일하면서도 원래의 예술적 뉘앙스와 스타일을 유지하는 쪽에 초점을 맞췄습니다.¹²

여기서 중요한 건 업스케일이 단순 확대가 아니라 “질감과 표현을 깨지지 않게” 다듬는 후반 공정으로 설계됐다는 점이에요. 스타일이 강한 작품일수록 업스케일 과정에서 붓터치가 뭉개지거나 노이즈가 ‘의미 없는 디테일’로 변질되기 쉬운데, 그 리스크를 줄인 접근입니다.

연구자×예술가 협업이 남긴 교훈: 기술은 ‘현장 문제’에서 똑똑해진다

이 프로젝트가 흥미로운 이유는 결과물(단편)만이 아니라 제작 과정 자체가 “연구의 실전 배치”였기 때문입니다. 연구자들은 예술적·기술적 경계를 넘기 위해 필요한 솔루션을 빠르게 프로토타이핑하며 현장 감각을 얻었고, 예술가들은 실험적 도구에 직접 접근해 새로운 표현의 레버를 찾았습니다.¹

정리하면, 애니메이션 팀은 ‘정확한 제어’라는 전통의 강점을 지켰고, AI 팀은 ‘스타일적 유연성과 확장성’을 제공했습니다. 그리고 둘 사이의 접점은 “프롬프트 한 줄”이 아니라, 미세 조정·비디오 가이드·부분 수정·업스케일처럼 제작 친화적인 워크플로였습니다.

시사점은 분명합니다. 앞으로의 생성형 AI 애니메이션 경쟁력은 모델 성능만큼이나 “애니메이터가 익숙한 방식으로 통제할 수 있느냐”에서 갈릴 가능성이 큽니다. AI가 그림을 그려주는 시대가 아니라, 애니메이터의 타이밍과 연기를 더 멀리 보내주는 시대가 오는 쪽에 가깝습니다.

참고

¹‘Dear Upstairs Neighbors’: Animated film made with Google AI

²Google DeepMind Previews 'Artist-First' AI Animated Short at Sundance Story Forum | Animation Magazine