3D 재구성은 오랫동안 이미지 사이의 대응점을 찾고, 카메라 위치를 추정하고, 다시 최적화하는 파이프라인에 의존해 왔다. VGGT는 이 과정을 다른 방식으로 바라본다. 여러 뷰를 입력하면 카메라, 깊이, 포인트맵, 포인트 트랙을 한 번의 feed-forward 추론으로 예측한다.1
핵심은 “장면마다 맞춰 푸는 문제”를 “학습된 모델이 바로 추론하는 문제”로 바꾸는 데 있다. 그리고 VGGT-Ω는 이 방향을 정적 장면을 넘어 동적 장면까지 확장하려는 모델이다.3
VGGT가 바꾼 관점
기존 SfM 파이프라인에서는 이미지 쌍 사이의 대응점을 찾고, 그 관계를 바탕으로 카메라와 3D 구조를 계산한다. 반면 VGGT는 입력 이미지를 토큰으로 만들고, 프레임 내부 attention과 프레임 간 global attention을 번갈아 사용한다.2
frame-wise self-attention은 각 이미지 안의 구조를 정리하고, global attention은 여러 이미지 사이의 관계를 학습적으로 통합한다. 즉, 명시적으로 대응점을 찾고 최적화하던 일부 과정을 Transformer 내부의 추론 과정으로 옮긴 셈이다.
이 변화의 실용적 의미는 분명하다. 3D 재구성이 더 이상 개별 장면마다 복잡한 최적화를 반복하는 작업에만 머물지 않고, 대규모 데이터로 학습한 모델의 일반화 능력에 기대는 방향으로 이동하고 있다.
VGGT-Ω의 핵심: 더 단순하게, 더 크게 학습하기
VGGT-Ω는 VGGT 계열의 구조를 더 효율적으로 만들려는 시도다. 정적 장면과 동적 장면을 모두 대상으로 하며, 단일 dense prediction head에 멀티태스크 감독을 적용해 구조를 단순화했다.3 또한 비용이 큰 고해상도 합성곱 레이어를 제거했다.3
여기서 중요한 설계가 register다. register는 장면 정보를 compact representation으로 모으는 역할을 한다.3 VGGT-Ω의 register attention은 프레임 간 정보 교환을 모든 토큰 사이에서 수행하지 않고 register로 제한해 global attention의 일부를 대체한다.3
쉽게 말하면, 모든 프레임의 모든 토큰이 서로 직접 대화하는 대신, 장면을 요약한 register를 통해 필요한 정보만 주고받게 만든 것이다. 이 구조는 긴 비디오나 많은 프레임을 다룰 때 특히 중요하다. attention 비용이 줄어야 더 큰 데이터와 더 긴 입력을 감당할 수 있기 때문이다.
논문은 이 설계 덕분에 VGGT-Ω가 학습 중 이전 모델 대비 약 30%의 GPU 메모리만 사용했다고 보고한다.3 그 결과 prior work보다 15배 많은 supervised data로 학습할 수 있었고, 대규모 unlabeled video data를 활용하는 self-supervised learning protocol도 도입했다.3
성능보다 더 중요한 신호
VGGT-Ω는 Sintel에서 기존 최고 camera estimation accuracy 대비 77% 개선을 보고했으며, 논문은 CVPR 2026 Oral로 표기됐다.3 이 수치는 주목할 만하지만, 더 중요한 신호는 따로 있다.
VGGT-Ω가 보여주는 방향은 3D 재구성이 “정교한 후처리와 최적화 중심의 기술”에서 “대규모 비디오로 학습되는 공간 이해 모델”로 이동하고 있다는 점이다. 정확도 개선도 의미 있지만, 메모리 효율을 높이고 더 많은 supervised data와 unlabeled video를 활용할 수 있게 된 점이 더 큰 전환점이다.
실제로 볼 판단 기준
VGGT 계열 모델을 이해하거나 적용할 때는 다음 세 가지를 중심으로 보면 된다.
긴 비디오를 감당할 수 있는가
프레임 수가 늘어나면 attention 비용과 메모리 사용량이 빠르게 문제가 된다. VGGT-Ω의 register 기반 설계는 이 병목을 줄이려는 접근이다.동적 장면에서 안정적인가
정적 장면 재구성과 달리, 동적 장면에서는 움직이는 객체와 카메라 움직임이 섞인다. VGGT-Ω가 정적·동적 장면 모두를 목표로 한다는 점은 이 문제를 직접 겨냥한다.3결과를 어디에 쓸 것인가
재구성 결과를 시각화나 측량에 바로 사용할 수도 있지만, 로봇, AR, 비전언어 모델의 공간 feature로 활용할 수도 있다. 앞으로의 가치는 단순한 3D 출력보다 공간 이해 능력으로 확장될 가능성이 크다.
VGGT와 VGGT-Ω의 메시지는 간단하다. 3D 비전은 점점 더 큰 데이터, 더 효율적인 attention, 더 범용적인 feed-forward 모델의 문제로 재정의되고 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.