비디오 확산 모델은 노이즈에서 출발해 프레임을 점진적으로 복원하며 영상을 생성하는 모델입니다. 최근에는 현실적이고 시간적으로 일관된 영상을 만들 수 있어 “월드 시뮬레이터” 후보로도 연구되고 있습니다.1
하지만 좋은 영상 생성 능력과 물리 이해는 같은 말이 아닙니다. 핵심 질문은 이것입니다. 모델은 물체의 움직임과 상호작용에 담긴 물리 구조를 내부적으로 배우고 있을까요, 아니면 학습 데이터에서 자주 본 움직임 패턴을 그럴듯하게 재현하는 것일까요?
출력 영상만으로는 부족하다
논문 The Invisible Hand of Physics는 이 질문을 생성 결과가 아니라 모델 내부 표현에서 확인하려 했습니다.1 연구진은 물리적 타당성이 알려진 실제 비디오를 사용해, 비디오 확산 모델이 생성 과정 중간에 어떤 정보를 품고 있는지 조사했습니다.
방법의 핵심은 잠재 궤적을 되짚는 것입니다. 깨끗한 비디오의 잠재 표현에서 노이즈 방향으로 학습된 velocity field를 역방향 적분해, 생성 과정의 중간 상태를 근사적으로 복원했습니다.1 이렇게 하면 최종 출력만 보는 대신 denoising 과정의 내부 상태와 attention map을 분석할 수 있습니다.
즉, “모델이 무엇을 만들었는가”가 아니라 “만드는 동안 무엇을 표현했는가”를 본 것입니다.
물리 신호는 denoising 과정에서 드러난다
가장 중요한 결과는 물리적 타당성이 diffusion transformer의 내부 상태에서 선형 디코딩 가능했다는 점입니다. IntPhys와 InfLevel 데이터셋에서, 모델 내부 표현만으로 장면이 물리적으로 가능한지 여부를 읽어낼 수 있었습니다.1
여기서 “선형 디코딩 가능하다”는 말은 복잡한 추가 모델을 붙이지 않아도 내부 표현에 물리 관련 정보가 비교적 읽기 쉬운 형태로 들어 있다는 뜻입니다. 모델이 단순히 픽셀을 예쁘게 복원하는 데 그치지 않고, 생성 과정에서 물리적으로 가능한 장면과 그렇지 않은 장면을 구분하는 단서를 형성했을 가능성을 보여줍니다.
또 하나 중요한 점은 이 신호가 입력 표현 자체가 아니라 denoising transformer의 계산 과정에서 나타났다는 해석입니다.1 물리 정보가 처음부터 주어진 것이 아니라, 노이즈를 제거하며 비디오를 구성하는 과정에서 드러난다는 점이 이 연구의 핵심입니다.
“물리를 안다”는 말은 조심해야 한다
이 결과가 곧 비디오 확산 모델이 물리 법칙을 완전히 이해한다는 뜻은 아닙니다. 내부 표현에서 물리적 타당성 신호를 읽어낼 수 있다는 것과, 모델이 항상 물리적으로 올바른 영상을 생성한다는 것은 다른 문제입니다.
오히려 이 연구의 의미는 더 실용적입니다. 비디오 확산 모델을 평가할 때 최종 영상의 그럴듯함만 보면 부족하다는 것입니다. 출력은 자연스러워 보여도 내부에 안정적인 물리 표현이 없을 수 있고, 반대로 출력이 완벽하지 않아도 내부에는 물리 구조에 대한 유용한 단서가 있을 수 있습니다.
V-JEPA나 VideoMAE처럼 비디오 표현학습을 목표로 한 모델과 비교할 때도 관점이 달라집니다.2 비디오 확산 모델은 기본적으로 생성을 위해 학습되지만, denoising 과정 자체가 세계의 구조를 압축해 배우는 경로가 될 수 있습니다. 생성 모델을 단순한 콘텐츠 제작 도구가 아니라 표현 학습 장치로도 볼 수 있는 이유입니다.
실제로 무엇을 봐야 할까
비디오 확산 모델을 연구하거나 적용한다면 평가 기준을 넓혀야 합니다.
최종 영상이 자연스러운가
시간적으로 일관된 움직임을 만드는가
물리적으로 불가능한 장면을 구분할 수 있는 내부 신호가 있는가
그 신호가 출력 제어로 이어질 수 있는가
특히 로보틱스, 자율주행, 시뮬레이션처럼 물리 일관성이 중요한 분야에서는 “보기 좋은 영상”만으로는 충분하지 않습니다. 모델 내부에 어떤 세계 구조가 표현되는지, 그리고 그 표현을 실제 의사결정이나 제어에 활용할 수 있는지가 더 중요한 판단 기준이 됩니다.
비디오 확산 모델의 의미도 여기서 확장됩니다. 이들은 단순한 영상 생성기를 넘어, 물리 구조를 일부 품은 잠재적 월드 모델로 연구될 수 있습니다. 다만 그 가능성을 확인하려면 출력물이 아니라 생성 과정 내부를 함께 봐야 합니다.
참고
1The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show
2Intuitive physics understanding emerges from self-supervised pretraining on natural videos
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.