A$AP Rocky 'Helicopter' 뮤직비디오와 Gaussian Splatting 정리

뮤직비디오 개요

'Helicopter'는 A$AP Rocky가 2024년 공개한 뮤직비디오로, 초반 MTV 스타일을 연상시키는 빠른 편집, 혼란스러운 군중, 과격한 동작들이 핵심 미학을 이룬다.¹

표면적으로는 과장된 액션과 난장 파티에 초점이 맞춰져 있지만, 실제로는 거의 모든 인간 퍼포먼스가 볼류메트릭(Volumetric) 캡처 후 Gaussian Splatting 기반으로 렌더링된, 기술적으로 매우 실험적인 프로젝트다.¹

Rocky는 이전에도 'Shittin' Me' 뮤직비디오에서 NeRF와 Instant-NGP UI를 직접 노출한 바 있어, 레디언스 필드 기반 워크플로우를 꾸준히 실험하고 있다.¹

볼류메트릭 촬영과 연출 의도

이 프로젝트에서 볼류메트릭 촬영을 도입한 이유는 "신기술 시연"이 아니라, 후반 작업에서 카메라와 공간을 마음대로 재구성할 수 있는 창작 자유도를 확보하기 위해서다.¹

감독 Dan Strait은 처음부터 인물의 실연(實演)을 3D 공간에 보존해 두고, 후반에서 과감하게 재배열·재조합하는 방식을 목표로 했다. 기존 촬영/합성 파이프라인으로 같은 수준의 자유도를 얻으려면 비용과 난이도가 지나치게 높아진다.¹

댄서 충돌, 공중에 매달린 몸, 난전 형태의 싸움, 소품과 신체가 뒤섞였다가 다른 물체로 변하는 장면 등, 화면에서 보이는 과격한 모든 동작은 실제 스턴트가 3D로 캡처된 결과다.¹

촬영 세트 구성과 데이터

주요 촬영은 LA에서 진행됐고, Evercoast의 시스템이 56대의 RGB‑D 카메라 어레이와 두 대의 워크스테이션으로 퍼포머를 동시 캡처했다.¹

출연자들은 와이어에 매달려 거꾸로 매달리거나, 천장 봉에 매달려 턱걸이를 하고, 소품을 휘두르며, 물리적인 세트(목재 판, 와이어 리그, 실제 소품 등) 위에서 스턴트를 수행했다. 이런 물리 요소는 후반에서 제거·대체·재맥락화되지만, 인체 동작 자체는 실제 공간에서의 움직임으로 유지된다.¹

촬영 결과로 10TB 이상의 원본 데이터가 기록되었고, 최종적으로 약 30분 분량의 "스플랫 영상"이 PLY 시퀀스로 익스포트되었으며, 총 용량은 약 1TB 수준이었다.¹

후반 파이프라인과 툴체인

볼류메트릭 데이터는 Houdini로 가져와 CG Nomads GSOPs를 이용해 스플랫 시퀀스를 조작·시퀀싱했고, OTOY OctaneRender로 최종 렌더링했다.¹

Octane의 스플랫 지원과 Houdini 통합이 성숙해지면서, 단순히 포인트 구름처럼 보이는 결과가 아니라 조명과 그림자, 깊이감이 살아 있는 "3D 비디오" 스타일의 룩을 구현할 수 있었다. 특히 스플랫 재조명(relighting)이 이 프로젝트 미학을 결정하는 핵심 요소로 작동했다.¹

Blender는 레이아웃과 프리비즈에 활용되었고, 스플랫 시퀀스를 가벼운 프록시 캐시로 변환해 씬 플래닝에 사용했다.¹

WildCapture의 내부 툴은 시간축 일관성(temporal consistency)을 보완하기 위해 사용되었고, 포즈 추정 기반의 단순 스켈레톤을 뽑아 모션 전이, 충돌 세팅, 리지드/소프트 바디 시뮬레이션을 포함한 물리 기반 상호작용을 Houdini에서 다루는 데 활용되었다.¹

프리뷰 워크플로와 크리에이티브 결정

Evercoast는 촬영 현장부터 후반까지 여러 단계에서 볼류메트릭 데이터를 프리뷰할 수 있게 했다.¹

촬영 중에는 감독이 실시간에 가까운 공간 피드백을 확인했고, 테이크 직후에는 수 초 내로 메쉬 기반의 러프 프리뷰를 생성해 연출 결정을 도왔다. 이후 Evercoast 웹 플레이어에서 충분히 렌더링된 스플랫을 확인한 뒤, 필요할 때만 대용량 PLY 시퀀스를 다운로드하여 Houdini 작업에 투입하는 구조를 택했다.¹

이 방식은 전통적인 "촬영 → 고비용 후반" 구조보다, 시뮬레이션 워크플로에 가까운 유연성을 제공한다. 즉, 값비싼 후처리에 들어가기 전, 창작 방향을 비교적 싸게 빠르게 탐색할 수 있게 된다.¹

Gaussian Splatting 정리

Gaussian Splatting은 장면을 연속적인 3D 볼륨으로 표현하는 대신, 공간에 배치된 다수의 가우시안 스플랫(3D Gaussian blob)으로 장면을 표현하고 렌더링하는 기법이다.

NeRF가 네트워크 평가를 통해 픽셀별 색·밀도를 반복적으로 샘플링하는 방식이라면, Gaussian Splatting은 이미 최적화된 스플랫들을 "뿌려서" 빠르게 렌더링하는 방식에 가깝다. 이로 인해 실시간 또는 준실시간 렌더링에 유리하며, 동적 장면(dynamic scenes) 처리에도 강점이 있다.

'Helicopter'에서는 볼류메트릭 캡처 → 스플랫 기반 표현 → 재조명 및 재배치 과정을 통해, 현실 퍼포먼스를 유지하면서도 전통적인 카메라/세트 촬영으로는 어려운 공간 왜곡과 편집을 구현했다.¹

"AI 같다"는 인상과 실제 정체

뮤직비디오가 공개된 뒤, 상당수 시청자는 화면이 "AI로 만든 합성 영상 같다"고 느꼈다.¹

그러나 Evercoast 팀에 따르면, 이는 사실과 정반대다. 모든 스턴트, 스윙, 낙하 동작은 실제 공간에서 사람이 수행했고, 카메라가 그 움직임을 3D로 기록했을 뿐이다. 인위적으로 느껴지는 부분은, 카메라 구도가 사후에 자유롭게 재구성되고, 공간적 연속성이 의도적으로 깨지며, 여러 퍼포먼스를 3D 공간에서 재합성할 수 있다는 점에서 비롯된다.¹

즉 레디언스 필드·Gaussian Splatting 기술은 현실을 대체하는 것이 아니라, "현실을 더 완전하게 보존한 뒤, 그 보존된 현실을 새로운 방식으로 편집할 수 있게 해주는 매체"에 가깝다.

프로젝트가 갖는 의미

'Helicopter'는 메이저 아티스트의 뮤직비디오에서 동적 Gaussian Splatting이 대규모로 쓰인 대표적 사례 중 하나다.¹

이 프로젝트는 다음과 같은 지점을 실증했다. 실제 퍼포먼스를 유지하면서도, 포스트 단계에서 카메라·조명·공간 구성을 근본적으로 다시 쓸 수 있다. 대규모 볼류메트릭 데이터(수 TB급)를 상용 툴체인(Houdini, Octane, Blender 등)과 결합해, 실제 프로덕션 파이프라인으로 돌릴 수 있다. 시청자가 "AI 같다"고 느낄 정도의 새로운 비주얼 언어가, 생성형 AI가 아니라 물리적 퍼포먼스와 레디언스 필드·스플랫 기반 재구성을 통해서도 가능하다.

뮤직비디오·영화·퍼포먼스 아트 영역에서, 앞으로 "볼류메트릭 퍼포먼스 + Gaussian Splatting" 조합이 하나의 실질적인 선택지로 자리 잡는 전환점에 가까운 작업이라 볼 수 있다.

참고

¹A$AP Rocky Releases Helicopter Music Video featuring Gaussian Splatting - Radiance Fields