Prime Video AI 립싱크 더빙이 바꾸는 시청 경험
더빙 콘텐츠의 오래된 문제는 소리와 입 모양의 불일치다. 번역된 대사가 끝난 뒤에도 배우의 입이 움직이면 시청자는 화면과 음성의 간극을 의식하게 되고 몰입이 깨질 수 있다. Prime Video AI는 음성을 새로 생성하는 대신 영상 속 입 움직임을 조정해 이 문제를 줄이는 기술이다.
사람의 더빙에 영상 기술을 결합한다
Prime Video AI 립싱크 더빙은 AI와 시각효과(VFX)를 활용해 배우의 입 움직임을 사람이 녹음한 번역 음성에 맞춘다. AI가 성우를 대체하는 방식이라기보다, 완성된 더빙을 기준으로 화면을 조정하는 방식에 가깝다.1
현재 이 기능은 독일 청소년 드라마 Maxton Hall의 영어 더빙에만 적용된다. 전 세계 Prime Video 구독자는 시즌 1과 시즌 2에서 이용할 수 있으며, 12월 9일 공개되는 시즌 3에도 제공될 예정이다. 모나 카스텐의 소설 시리즈를 원작으로 한 Maxton Hall은 Prime Video 역사상 가장 많이 시청된 인터내셔널 오리지널 시리즈다.12
더빙 품질이 글로벌 도달 범위를 좌우한다
Netflix는 오징어 게임과 종이의 집 등을 통해 비영어권 콘텐츠를 세계적으로 유통하는 모델을 먼저 확립했다.2 이런 시장에서는 자막과 더빙이 단순한 부가 기능을 넘어 콘텐츠의 접근성과 도달 범위를 결정한다.
자연스러운 립싱크는 시청각 불일치를 줄여 시청자가 이야기와 배우의 연기에 더 집중하도록 도울 수 있다. 제작사에는 하나의 작품을 여러 언어권에 배포할 때 발생하는 언어 장벽을 낮추는 수단이 된다. Prime Video가 향후 다른 콘텐츠로 립싱크 기술을 확대하겠다고 밝힌 배경도 이와 맞닿아 있다.1
성패는 기술보다 검증 방식에 달려 있다
다만 발표 내용만으로 Prime Video AI의 완성도를 판단하기는 어렵다. Amazon의 발표문에는 정확도, 오류율, 처리 시간, 수정된 프레임 비율과 같은 성능 수치가 없다. 사용 모델과 학습 데이터, 배우의 동의 절차도 명시되지 않았다.3
Prime Video는 창작 감독을 통해 원작자의 예술적 의도를 보존하겠다고 밝혔다.1 그러나 실제 신뢰도를 평가하려면 다음 사항을 확인해야 한다.
결과물을 누가, 어느 단계에서 검수하는가
부자연스러운 장면을 어떤 기준으로 수정하는가
배우가 자신의 얼굴 움직임 변경에 동의하거나 거부할 수 있는가
시청자가 립싱크 기술의 적용 여부를 확인할 수 있는가
작품과 언어가 늘어날 때도 품질을 일관되게 유지하는가
요약: Prime Video AI는 사람이 녹음한 더빙 음성에 맞춰 화면 속 배우의 입 모양을 조정함으로써 시청각 불일치를 줄인다. 앞으로의 핵심 관찰 지점은 적용 작품 수가 아니라 품질 지표, 사람의 검수, 배우 동의 절차와 적용 표시가 얼마나 구체적으로 공개되는지다.
1Prime Video introduces new lip-sync technology on 'Maxton Hall'
2'Maxton Hall' Uses Amazon AI Technology To Sync Actors' Lips With Human-Dubbed Audio
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.