최근 "사진 한 장으로 45분짜리 립싱크 영상을 실시간 생성한다"는 소식이 화제를 모았습니다.1 그 중심에 있는 모델이 바로 LPM 1.0인데, 단순한 '말하는 사진' 수준을 넘어서 듣고, 반응하고, 감정을 이어가는 캐릭터 영상 엔진에 가깝다는 점이 더 중요합니다.2
LPM 1.0이 특별한 이유: 말만 하는 얼굴이 아니다
기존 AI 아바타를 보면 보통 입만 맞고 표정은 어색하거나, 몇 분 지나면 얼굴이 미묘하게 달라지는 경우가 많았습니다. LPM 1.0은 이 문제를 정면으로 파고듭니다.
연구팀은 이를 '성능의 딜레마'로 설명합니다. 표정과 감정이 풍부해야 하고, 실시간으로 빨라야 하며, 긴 영상에서도 인물이 흔들리지 않아야 하는데, 이 세 가지를 동시에 잡기 어렵다는 뜻입니다.3 LPM 1.0은 여기서 한 발 더 나아가, 사람이 대화할 때 보여주는 끄덕임, 시선 이동, 미세한 표정 변화까지 영상으로 만들어냅니다.
즉, 이 모델의 핵심은 "말하는 장면 생성"이 아니라 "대화하는 존재처럼 보이게 만드는 것"입니다.
사진 한 장에서 45분 영상까지 가능한 구조
LPM 1.0은 입력으로 캐릭터 이미지와 참고 이미지들, 오디오, 텍스트 지시를 함께 받습니다.2 쉽게 말해 "누구인지"는 이미지가 정하고, "어떻게 말하는지"는 음성이 정하고, "어떤 분위기와 동작인지"는 텍스트가 다듬는 방식입니다.
기술적으로는 먼저 170억 파라미터 규모의 기본 모델을 만들고, 이를 더 빠른 스트리밍 생성기로 압축해 실시간 생성에 맞췄습니다.3 프로젝트 소개에 따르면 온라인 버전은 실시간 대화, 무제한 길이 생성, 그리고 22분·45분 데모까지 공개했습니다.2
여기서 재미있는 포인트는 세 가지 상태를 다룬다는 점입니다. 캐릭터가 말할 때뿐 아니라, 상대의 말을 들을 때와 아무도 말하지 않는 정적 구간까지 자연스럽게 이어집니다.2 그래서 영상이 "멈춘 인형"처럼 보이지 않습니다.
실시간 AI 아바타 시장에서 어떤 의미가 있을까
이 기술이 주목받는 이유는 활용처가 너무 분명해서입니다. AI 상담원, 라이브 스트리밍 캐릭터, 게임 NPC, 디지털 휴먼 같은 분야에서는 단순 립싱크보다 "상대 말을 듣는 반응"이 훨씬 중요합니다.3
특히 LPM 1.0은 사람 사진뿐 아니라 2D 애니풍, 3D 캐릭터, 심지어 비인간형 캐릭터에도 제로샷으로 적용할 수 있다고 소개합니다.2 한마디로 "사람 한 명의 영상 복제"보다 "캐릭터 퍼포먼스 플랫폼"에 더 가깝습니다.
물론 한계도 분명합니다. 현재는 주로 단일 인물, 정면 중심, 대화형 상황에 강합니다. 여러 사람이 동시에 등장하거나, 카메라가 크게 움직이고, 복잡한 환경과 상호작용하는 장면까지 완벽히 해결한 것은 아닙니다.4 하지만 지금 단계만으로도 기존 템플릿형 아바타보다 훨씬 자연스러운 사용자 경험을 만들 가능성은 충분합니다.
시사점
LPM 1.0이 보여준 변화는 단순히 "사진을 움직이게 했다"가 아닙니다. 이제 AI 영상은 입 모양을 맞추는 단계를 넘어, 캐릭터가 대화에 참여하는 듯한 존재감을 만드는 방향으로 가고 있습니다.
콘텐츠 제작자에게는 버추얼 진행자와 인터랙티브 영상의 가능성을, 기업에는 실시간 고객 응대형 디지털 휴먼의 실용성을, 게임 업계에는 더 살아 있는 NPC의 힌트를 줍니다. 앞으로 중요한 경쟁력은 화질만이 아니라, 얼마나 오래 자연스럽게 반응하며 같은 인물처럼 남아 있느냐가 될 가능성이 큽니다.
참고
1New AI model generates 45-minute lip-synced video from one photo and runs in real time
3[2604.07823] LPM 1.0: Video-based Character Performance Model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.