AI 월드 모델을 볼 때 핵심 질문은 더 이상 “멋진 영상을 만드나”에만 머물지 않습니다. 중요한 것은 결과물을 실제로 탐색하고, 편집하고, 엔진이나 시뮬레이션 파이프라인에 넣을 수 있느냐입니다.
Tencent의 HY-World 2.0은 이 질문에 3D 자산 중심으로 답하는 멀티모달 월드 모델입니다. 텍스트, 단일 시점 이미지, 다중 시점 이미지, 비디오 입력을 지원하고, 고충실도 탐색 가능 3D Gaussian Splatting(3DGS) 장면을 생성합니다.12
HY-World 2.0은 무엇이 다른가
HY-World 2.0의 핵심은 3D 세계의 “생성”과 “재구성”을 하나의 프레임워크로 묶었다는 점입니다. 텍스트나 한 장의 이미지로는 새로운 3D 장면을 만들고, 여러 시점의 이미지나 비디오로는 실제 공간을 3D로 복원하는 식입니다.2
이 차이는 실용성에서 드러납니다. 일반적인 영상 생성 모델의 결과물은 대개 픽셀 영상에 머뭅니다. 보기에는 그럴듯해도, 카메라를 움직여 탐색하거나 게임·VR·로봇 시뮬레이션 같은 후속 작업에 바로 연결하기는 어렵습니다.
반면 HY-World 2.0은 탐색 가능한 3DGS 장면을 지향합니다. 즉 감상용 영상이 아니라, 공간 구조를 가진 결과물을 만드는 쪽에 초점이 있습니다. 그래서 평가 기준도 “얼마나 멋진가”에서 “얼마나 일관된 공간으로 재사용할 수 있는가”로 바뀝니다.
파이프라인은 어떻게 구성되나
HY-World 2.0의 주요 구성요소는 HY-Pano 2.0, WorldNav, WorldStereo 2.0, WorldMirror 2.0입니다.3
흐름은 비교적 명확합니다. 먼저 HY-Pano 2.0이 텍스트나 단일 시점 이미지 조건에서 360도 파노라마를 합성합니다. 여기서 360도 파노라마는 한 고정 시점에서 360° × 180° 시야각을 담는 표현입니다.2
그다음 WorldNav가 탐색 경로를 계획하고, WorldStereo 2.0이 그 경로를 따라 새로운 시점을 확장합니다. 마지막으로 WorldMirror 2.0이 확장된 정보를 바탕으로 3D 세계를 재구성합니다.3
이 구조의 의미는 단순한 이미지 확장이 아닙니다. 먼저 장면의 전체 맥락을 파노라마로 잡고, 이후 이동 가능한 공간을 단계적으로 넓혀가는 방식에 가깝습니다. 단일 이미지의 빈 공간을 그럴듯하게 채우는 것을 넘어, 탐색 가능한 공간의 일관성을 관리하려는 설계로 볼 수 있습니다.
오픈소스 공개가 중요한 이유
Tencent는 HY-World 2.0을 GitHub의 Tencent-Hunyuan/HY-World-2.0 저장소에 공개했습니다.4 전체 추론 코드와 모델이 공개되었다는 점은 이 분야에서 특히 중요합니다. 월드 모델은 데모 영상만으로 성능을 판단하기 어렵기 때문입니다.
연구자와 개발자는 공개된 코드와 모델을 통해 입력 조건별 결과, 장면 일관성, 엔진 호환성, 추론 비용 등을 직접 검증할 수 있습니다. 특히 3D 생성 모델은 출력물이 후속 파이프라인에 들어갈 수 있는지가 핵심이므로, 재현 가능성은 단순한 공개 이상의 의미를 갖습니다.
GitHub 저장소에는 2026년 5월 18일 World Generation 추론 코드와 WorldStereo 2.0 모델 가중치 공개가 기록되어 있습니다.4 공개 범위가 넓어질수록 HY-World 2.0은 논문이나 데모를 넘어 실제 실험 가능한 기반으로 평가받게 됩니다.
무엇을 기준으로 봐야 하나
HY-World 2.0을 볼 때 가장 중요한 관점은 “AI가 영상을 만든다”가 아니라 “AI가 재사용 가능한 공간을 만든다”입니다. 따라서 화려한 샘플보다 다음 질문이 더 실용적입니다.
텍스트, 이미지, 비디오 입력에 따라 결과 품질이 얼마나 안정적인가
생성된 3DGS 장면을 실제로 탐색할 때 공간 일관성이 유지되는가
게임, VR, 디지털 트윈, 로봇 시뮬레이션 파이프라인과 연결하기 쉬운가
공개 코드와 모델로 동일한 결과를 재현하고 개선할 수 있는가
결론적으로 HY-World 2.0은 월드 모델의 초점을 감상용 영상에서 탐색 가능한 3D 공간으로 옮기는 사례입니다. 게임 프로토타입, 디지털 트윈, 로봇 학습 환경처럼 “볼 수 있는 결과”보다 “쓸 수 있는 공간”이 중요한 팀이라면 특히 주목할 만합니다.
1HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.