CVPR 2026의 ScanNet++ 워크숍은 3D AI가 무엇을 더 잘해야 하는지 보여주는 자리입니다. 6월 3일 오후, 미국 콜로라도 덴버에서 열리는 CVPR 현장 710호에서 진행되며, Novel View Synthesis, 3D 생성, 의미 이해, 월드 모델을 다루는 초청 발표 5개가 포함되어 있습니다.1
왜 ScanNet++인가
ScanNet++의 핵심은 “그럴듯한 3D 결과”를 넘어, 실제 공간을 얼마나 정확하고 일관되게 복원하고 이해하는지 평가하는 데 있습니다.
Novel View Synthesis는 일부 시점의 이미지로 보지 않은 시점의 장면을 합성하는 기술입니다. 이 기술이 실제로 유용하려면 새 시점의 이미지가 보기 좋을 뿐 아니라, 공간 구조와 물체 의미도 맞아야 합니다. ScanNet++는 1mm 해상도 레이저 스캔 geometry, 고품질 DSLR 이미지, 1000개 이상 클래스의 조밀한 의미 주석을 제공한다고 설명합니다.1 즉 시각 품질, geometry, semantic understanding을 함께 따져볼 수 있는 기반을 제공합니다.
특히 중요한 점은 테스트 조건입니다. 기존 평가가 같은 촬영 경로 안에서 새 시점을 예측하는 경우가 많았다면, ScanNet++ 챌린지는 학습 경로 밖에서 촬영한 테스트 이미지를 사용해 더 어려운 조건을 만듭니다.1 이는 모델이 훈련 데이터 주변을 보간하는 수준인지, 실제 공간을 더 넓게 이해하는지 가르는 기준이 됩니다.
월드 모델, 생성, 3D 이해가 연결되는 이유
워크숍에는 Andrea Tagliasacchi, David Novotny, Or Litany, Peter Hedman, Deva Ramanan의 초청 발표가 배치되어 있습니다.1 주제는 서로 달라 보이지만, 공통 질문은 하나입니다. AI가 공간을 어떻게 표현하고, 예측하고, 활용할 수 있는가입니다.
월드 모델은 AI가 주변 세계의 상태와 변화를 내부적으로 예측하는 모델입니다. 로봇, XR, 자율주행처럼 물리적 공간 안에서 움직이는 시스템에서는 이미지 한 장을 잘 생성하는 것만으로 충분하지 않습니다. 다음 시점에서 무엇이 보일지, 어디에 어떤 물체가 있는지, 장면 구조가 어떻게 이어지는지를 안정적으로 예측해야 합니다.
이 흐름은 CVPR의 다른 3D 관련 프로그램과도 맞닿아 있습니다. NVIDIA의 CVPR 2026 일정은 6월 3일부터 6월 7일까지의 프로그램을 나열하며, 같은 날 E2E3D 워크숍은 오후 1시부터 6시까지 로보틱스, XR, 과학 이미징을 위한 확장 가능한 엔드투엔드 3D 학습을 다룬다고 소개합니다.2 ScanNet++ 워크숍은 그중에서도 평가 데이터와 벤치마크라는 관점에서 3D AI의 기준을 제시합니다.
무엇을 보고 판단해야 하나
CVF Open Access는 CVPR 2026을 덴버 개최 행사로 표기하고, 메인 콘퍼런스 논문은 2026년 5월 23일, 워크숍 논문은 5월 26일, Findings는 5월 27일 공개된 것으로 안내합니다.3 또한 CVF는 카메라레디 제출본 PDF를 최종 공개 버전으로 보존하며, 수정이 필요하면 arXiv 버전 업데이트를 통해 반영하도록 설명합니다.3
따라서 이 분야를 따라갈 때는 발표 제목이나 결과 이미지보다 다음 기준을 먼저 보는 것이 실용적입니다.
어떤 데이터로 학습하고 평가했는가
테스트 시점이 학습 경로 안에 있는가, 밖에 있는가
시각적으로 그럴듯한 결과뿐 아니라 geometry와 semantic understanding도 평가하는가
로봇, XR, 자율주행처럼 실제 공간 응용에 연결될 수 있는가
ScanNet++ 워크숍의 의미는 여기에 있습니다. 3D AI의 다음 경쟁력은 더 예쁜 생성 결과만이 아니라, 실제 공간을 일관되게 복원하고 이해하며 새 시점과 상황을 예측하는 능력에서 갈립니다.
1ScanNet++ Novel View Synthesis and 3D Semantic Understanding Challenge
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.