최근 공개된 DeepMind 관련 소식 중 눈길을 끈 건, AI가 카메라에 직접 보이지 않는 정보까지 추론해내는 새로운 접근인 D4RT입니다1. 한마디로 말하면, AI가 영상의 빈칸을 상상으로 메우는 것이 아니라 시간과 공간의 흐름을 바탕으로 "숨은 장면"을 예측하는 쪽으로 진화하고 있다는 뜻입니다.
이 변화가 중요한 이유는 간단합니다. 현실 세계는 늘 가려지고, 끊기고, 불완전하게 보이기 때문입니다. D4RT 같은 기술은 로봇, 자율주행, AR, 영상 이해 같은 분야에서 "안 보였지만 있었던 것"을 더 잘 다루게 만들 수 있습니다.
D4RT는 왜 주목받을까: AI의 '보이지 않는 세계' 이해
기존 영상 AI는 대체로 현재 프레임에 보이는 것에 강했습니다. 하지만 현실에서는 사람이 기둥 뒤로 사라지거나, 물체가 다른 물체에 가려지거나, 카메라 시점이 갑자기 바뀌는 일이 흔하죠.
여기서 중요한 개념이 바로 4D 공간 지능입니다. 3D가 입체 구조라면, 4D는 여기에 시간까지 더한 개념입니다. 즉 "어디에 있었는가"뿐 아니라 "어떻게 움직였는가"까지 함께 이해해야 합니다. 최근 연구 흐름도 단일 이미지보다 비디오 전체를 보고 깊이, 움직임, 장면 구조를 일관되게 추정하는 방향으로 가고 있습니다2.
쉽게 말해 D4RT류 모델은 한 장의 사진을 맞히는 AI가 아니라, 장면의 연속성을 붙잡는 AI에 가깝습니다. 지금 안 보여도 바로 전과 직후 장면을 보면, 그 사이에 무엇이 있었는지 더 그럴듯하게 추론할 수 있으니까요.
비디오 깊이 추정과 무엇이 다를까
"안 보이는 걸 예측한다"는 말은 영상 깊이 추정과도 닿아 있습니다. 최근 컴퓨터 비전 분야에서는 여러 프레임을 활용해 더 안정적인 depth를 만드는 연구가 빠르게 늘었습니다. 단발성 추정보다 시간적 일관성을 확보하려는 시도죠2.
차이는 목표의 크기입니다. 일반적인 비디오 depth가 장면의 거리 정보를 안정적으로 복원하는 데 집중했다면, D4RT 같은 접근은 그보다 한 걸음 더 나아가 장면의 숨은 상태와 미래 혹은 가려진 구조까지 다루려는 방향으로 읽힙니다. 즉 "얼마나 멀리 있나"를 넘어서 "지금 안 보이지만 무엇이 이어지고 있나"를 묻는 셈입니다.
이건 세계 모델과도 연결됩니다. DeepMind가 최근 Genie 3 같은 월드 모델을 전면에 내세우는 것도 같은 흐름으로 볼 수 있습니다3. AI가 단순 인식기를 넘어, 세계가 어떻게 작동하는지 내부적으로 시뮬레이션하는 쪽으로 가고 있다는 이야기입니다.
DeepMind가 이 분야에서 강한 이유
DeepMind는 원래부터 "다음 수를 잘 두는 AI"보다 "환경의 규칙을 배우는 AI"에 강했습니다. AlphaGo와 AlphaZero가 게임의 구조를 학습했다면, AlphaFold는 보이지 않는 단백질 구조를 예측했습니다4. 겉으로는 분야가 달라 보여도, 공통점은 모두 불완전한 관측에서 숨은 구조를 추론한다는 점입니다.
그래서 D4RT도 단순한 영상 기능 추가라기보다, DeepMind가 오랫동안 밀어온 세계 이해형 AI의 연장선으로 보는 편이 자연스럽습니다. 보이는 픽셀을 해석하는 단계에서, 보이지 않는 상태를 계산하는 단계로 넘어가는 것이죠.
이 기술이 성숙하면 로봇은 문 뒤 사람의 이동을 더 자연스럽게 추정할 수 있고, 자율주행은 잠깐 가려진 물체의 위치를 더 안정적으로 추적할 수 있습니다. 영상 편집과 AR도 훨씬 자연스러워질 가능성이 큽니다.
시사점
D4RT의 핵심은 "AI가 환각을 더 잘한다"가 아닙니다. 오히려 반대입니다. 더 많은 시간 정보와 공간 단서를 엮어, 현실에 가까운 추론을 하려는 시도에 가깝습니다.
앞으로 AI 경쟁력은 단순 생성 품질만으로 갈리지 않을 가능성이 큽니다. 보이지 않는 것을 얼마나 일관되게 추론하는지, 가려진 세계를 얼마나 안정적으로 복원하는지가 더 중요해질 수 있습니다.
독자 입장에서 기억할 포인트는 하나입니다. 이제 AI는 화면에 나온 것만 읽는 도구가 아니라, 장면 뒤의 연속성과 물리적 맥락까지 이해하려는 단계로 가고 있습니다. D4RT는 그 변화를 보여주는 꽤 상징적인 신호입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.