Edit-by-Track: 영상 편집의 단위가 '프롬프트'에서 '궤적'으로 바뀐다

영상 생성 모델은 빠르게 좋아졌지만, 원하는 움직임을 정확히 지시하는 일은 여전히 어렵습니다. “카메라를 조금 돌리고, 강아지는 왼쪽으로 걷게 하고, 배경 느낌은 유지해줘” 같은 요청은 문장으로는 자연스럽지만, 모델 입장에서는 모호한 제어 신호입니다.

Edit-by-Track의 핵심은 이 제어 단위를 바꾸는 데 있습니다. 텍스트 프롬프트만으로 움직임을 설명하는 대신, 장면 속 점들이 시간에 따라 이동하는 3D 포인트 트랙을 직접 편집 대상으로 삼습니다.

Edit-by-Track은 무엇을 편집하는가

3D 포인트 트랙은 장면 속 3D 점들이 과제를 수행하거나 시간이 흐르는 동안 어떻게 움직이는지를 나타내는 중간 표현입니다. 로봇 조작 연구인 3PoinTr도 이 표현을 사용합니다. 3PoinTr는 비제약 인간 영상, 즉 시연자가 로봇의 운동학을 흉내 내지 않고 자연스럽게 행동하는 영상에서 조밀한 3D 포인트 트랙을 예측해 로봇 조작 정책을 사전학습합니다.¹

이 관점에서 보면 Edit-by-Track은 영상 편집을 “문장으로 움직임을 설명하는 문제”가 아니라 “장면의 3D 궤적을 수정하는 문제”로 재정의합니다. 입력 영상에서 카메라 포즈와 3D 트랙을 추정하고, 사용자가 원하는 방향으로 궤적을 바꾸면, 모델은 원본 트랙과 수정된 트랙의 대응을 바탕으로 새 움직임을 가진 영상을 생성합니다.²

즉 편집자는 더 이상 “왼쪽으로 자연스럽게 움직여줘”라고만 말하는 것이 아니라, 어떤 점이 어디로 이동해야 하는지를 더 직접적으로 지정할 수 있습니다.

왜 2D 궤적이 아니라 3D 트랙인가

2D 궤적은 화면 위에서 점이 어떻게 움직였는지만 보여줍니다. 간단한 장면에서는 충분할 수 있지만, 카메라가 움직이거나 물체가 서로 가리거나 깊이 관계가 바뀌면 한계가 드러납니다. 화면상 이동만으로는 어떤 물체가 앞에 있고, 무엇이 가려졌으며, 실제 공간에서 어떤 방향으로 움직였는지 안정적으로 판단하기 어렵기 때문입니다.

3D 트랙은 이 문제를 줄입니다. 깊이와 공간 관계를 포함하므로, 카메라 이동과 객체 이동이 함께 바뀌는 상황에서도 장면의 구조를 더 잘 유지할 수 있습니다.³ 물체 제거, 복제, 비강체 변형처럼 단순한 위치 이동을 넘어서는 편집에서도 3D 표현은 원본 영상의 시각적 맥락을 새 움직임으로 옮기는 데 유리합니다.³

중요한 차이는 결과물의 성격입니다. Edit-by-Track은 단순히 “비슷한 분위기의 새 영상”을 만드는 접근이 아니라, 원본 장면의 구조와 움직임 정보를 편집 가능한 형태로 다루려는 접근입니다.

실제 활용에서 봐야 할 것들

Edit-by-Track 방식의 성능은 결국 트랙 품질에 크게 좌우됩니다. 3D 트랙이 부정확하면 생성 모델도 잘못된 움직임을 따라갈 수밖에 없습니다. 따라서 실제 워크플로에서는 세 가지가 중요해집니다.

첫째, 입력 영상에서 얼마나 안정적으로 3D 트랙을 추정할 수 있는가입니다. 3PoinTr가 경량 visibility-aware 트랜스포머를 사용해 인간 영상에서 장면 점의 움직임을 학습하고, 부분적으로 가려진 포인트에 대한 감독 신호를 보존하도록 설계한 것도 이 문제와 맞닿아 있습니다.¹

둘째, 사용자가 트랙을 얼마나 쉽게 수정할 수 있는가입니다. 이 방식의 장점은 정밀한 제어지만, 궤적 편집이 복잡하면 실무 도구로 쓰기 어렵습니다. 좋은 인터페이스는 사용자가 장면의 점과 움직임을 직관적으로 잡고 바꿀 수 있게 해야 합니다.

셋째, 수정된 트랙을 생성 모델이 얼마나 자연스럽게 반영하는가입니다. Edit-by-Track은 사전학습된 텍스트-투-비디오 모델을 기반으로 하면서 LoRA와 3D 트랙 컨디셔너를 추가해 모션 제어를 강화합니다.² 따라서 핵심은 프롬프트 작성 능력만이 아니라, 어떤 점을 어떤 궤적으로 움직일지 설계하는 능력으로 옮겨갑니다.

결론: 영상 편집의 중심이 문장에서 공간 조작으로 이동한다

Edit-by-Track의 의미는 분명합니다. 영상 편집 AI는 점점 더 긴 프롬프트를 해석하는 방향만으로는 충분하지 않습니다. 사용자가 장면의 움직임을 직접 잡고, 수정하고, 그 결과를 생성 모델이 따라가게 만드는 방식이 중요해지고 있습니다.

앞으로 좋은 영상 편집 도구는 “무엇을 말할 것인가”뿐 아니라 “어떤 궤적을 어떻게 바꿀 것인가”를 쉽게 다루게 해줄 것입니다. Edit-by-Track은 그 변화의 방향을 잘 보여주는 사례입니다.

¹3PoinTr: 3D Point Tracks for Learning Manipulation from Unconstrained Human Videos

²Generative Video Motion Editing with 3D Point Tracks

³Generative Video Motion Editing with 3D Point Tracks