구글 딥마인드 D4RT: 로봇·AR의 ‘인간급 공간 인식’을 앞당기다

D4RT는 Google DeepMind가 공개한 새로운 AI 모델로, 영상만으로 “시간까지 포함한 3D(=4D)” 장면을 빠르게 복원하고 추적해 로봇과 AR 디바이스에 더 인간 같은 공간 인식을 제공하는 것을 목표로 합니다.¹ 이 글에서는 4D 재구성이 왜 어려웠는지, D4RT가 무엇을 통합해 단순화했는지, ‘최대 300배 속도’가 실제로 어떤 의미인지, 그리고 로봇·AR·AGI(세계 모델) 관점에서 어떤 파급이 있는지까지 한 번에 정리해볼게요.¹

4D 장면 재구성(시간 포함 3D)이 왜 중요할까

사람은 방 안을 걷다가 의자가 살짝 이동해도 “아, 저 의자 아까 거기 있었는데” 하고 바로 눈치챕니다. 단순히 현재 프레임의 3D만 아는 게 아니라, 시간에 따라 물체가 어떻게 움직였는지(추적)와 내 시점이 어떻게 변했는지(카메라/시선 변화)를 함께 묶어 이해하기 때문이죠.

로봇과 AR 기기도 똑같습니다. 로봇은 사람과 같이 움직이는 환경에서 부딪히지 않고 경로를 계획해야 하고, AR은 가상 오브젝트가 현실 물체 뒤로 자연스럽게 가려지거나(오클루전), 테이블 위에 “안정적으로” 놓여 보이도록 해야 합니다. 결국 핵심은 “깊이(Depth) + 움직임(Tracking) + 카메라 정보”를 한 덩어리로 이해하는 능력입니다.

D4RT가 노리는 한 방: ‘여러 모델+최적화’의 번거로움 제거

기존 4D 재구성 파이프라인은 종종 ‘전문가 팀’ 같았습니다. 깊이는 깊이 모델이, 카메라 포즈는 포즈 추정기가, 시공간 정합은 또 다른 모듈이 맡고… 마지막에 이 결과들을 맞춰보려면 반복 최적화(optimization)로 몇 번이고 땀을 빼야 했죠.

D4RT의 방향성은 반대입니다. 깊이 추정, 시공간 일치, 카메라 매개변수까지 한 시스템 안으로 묶어 “처리 자체를 단순화”했습니다.¹ 쉽게 말해, 여러 명이 떠들던 회의를 한 명의 총괄 매니저가 정리해 결론까지 내리는 구조에 가깝습니다. 덕분에 속도와 안정성 둘 다에서 이득을 노립니다.

인코더-디코더 구조가 ‘300배 속도’를 만든 방식

D4RT의 재미 포인트는 “강력한 인코더가 전체를 요약하고, 디코더는 필요한 것만 꺼내 쓴다”는 설계입니다.¹

인코더는 비디오 시퀀스를 통째로 받아 장면의 전역 표현(요약본)으로 압축합니다. 그리고 디코더는 매 순간 모든 픽셀·모든 포인트를 다 계산하는 대신, 필요한 부분을 ‘질의(query)’해 필요한 답만 빠르게 뽑아냅니다.¹

여기서 중요한 건 처리 방식이 비교적 독립적이라 최신 AI 하드웨어에서 병렬 처리에 유리하다는 점입니다.¹ 즉, “한 줄로 서서 순서대로 계산”이 아니라 “여러 계산을 동시에 치는” 스타일로 설계해 시간을 크게 줄였다는 이야기죠.

그 결과 D4RT는 기존 방법 대비 18~300배 빠르며, 1분짜리 비디오를 약 5초 만에 처리할 수 있다고 보고됩니다.¹ 이 속도는 로봇·AR에서 특히 의미가 큽니다. ‘연구실 데모는 되는데 제품은 어려운’ 이유 중 하나가 지연시간인데, D4RT는 그 병목을 정면으로 겨냥합니다.

성능은 실제로 좋아졌나: 깊이·포인트클라우드·포즈 벤치마크

속도만 빠르고 결과가 흐릿하면 “빠른데 쓸모없다”가 되겠죠. D4RT는 깊이 추정, 포인트 클라우드 재구성, 카메라 포즈 추정 등 여러 벤치마크에서 기존 방법보다 우수한 성능을 보였다고 정리됩니다.¹

또 하나의 포인트는 고정된 환경뿐 아니라 동적인 환경도 다룬다는 점입니다.¹ 현실은 늘 움직입니다. 사람 손이 들어오고, 문이 열리고, 로봇 스스로도 움직이니까요. 4D 재구성의 ‘D(다이내믹)’가 제대로 살아야 AR의 가상 오브젝트도 덜 흔들리고, 로봇도 덜 헤맵니다.

로봇·AR·AGI까지: “세계 모델”로 가는 빠른 지름길?

D4RT의 응용 기대는 꽤 직관적입니다. 로봇은 더 정확한 공간 인식으로 충돌 회피, 물체 조작, 이동 계획이 좋아지고, AR은 가상 물체를 더 현실적으로 배치할 수 있습니다.¹

흥미로운 건 딥마인드가 이 접근을 “더 나은 세계 모델(world model)” 구축의 단계로 보고, 장기적으로 AGI에 필요한 기반 기술로도 연결하려는 시각입니다.¹ 세상을 잘 ‘그려서’ 머릿속에 담아두는 능력은, 결국 다음 행동을 더 잘 선택하게 만드는 힘이니까요.

현실적인 조언을 덧붙이자면, 로봇/AR 관련 일을 한다면 이제 “정확도만큼 지연시간”을 같은 급으로 봐야 합니다. D4RT 같은 흐름은 모델이 똑똑해지는 것뿐 아니라, 현장에서 돌아갈 수 있게 “계산의 형태” 자체를 바꾸는 쪽으로 진화하고 있다는 신호입니다.

참고

¹D4RT: Unified, Fast 4D Scene Reconstruction & Tracking - Google DeepMind