한 문장으로 먼저

D4RT는 동영상의 픽셀을 단순히 따라가는 모델이 아니라, 한 영상에서 깊이·물체의 움직임·카메라 움직임을 함께 추정하려는 4D 컴퓨터 비전 연구입니다. 여기서 4D는 새로운 공간축이 아니라 3차원 장면이 시간에 따라 어떻게 변하는가를 뜻합니다.

동영상 프레임을 encoder가 장면 표현으로 바꾼 뒤 픽셀·시간·카메라 관점을 질의하는 D4RT의 교육용 구조도

동영상은 평면 픽셀의 연속입니다. 사람이 화면에서 오른쪽으로 움직였을 때, 그 사람이 실제로 움직인 것인지 카메라가 움직인 것인지, 혹은 사람이 다른 물체 뒤에 잠시 가려진 것인지 픽셀만으로는 바로 알기 어렵습니다. 로봇이나 AR 안경에는 이 구분이 중요합니다. 사람이 어디에 있고 다음 순간 어디로 갈지, 가상 물체를 실제 바닥에 안정적으로 붙일 수 있는지를 알아야 하기 때문입니다.

기존에는 깊이를 구하는 모델, 점의 움직임을 추적하는 모델, 카메라 위치를 추정하는 모델을 따로 이어 붙이는 경우가 많았습니다. D4RT는 동영상을 먼저 하나의 장면 표현으로 압축한 뒤, “이 프레임의 이 픽셀이 다른 시각에는 3D 공간 어디에 있는가?”라는 질문을 던지는 방식을 택합니다. 같은 질문 틀을 여러 번 쓰면 점의 3D 궤적, 깊이 지도, 점구름, 카메라 자세를 얻을 수 있습니다.

3D 다음의 4D는 무엇이 다른가

Google DeepMind 공식 작동 원리 영상. 영상을 읽는 인코더가 공통 장면 표현을 만들고, 디코더가 선택한 픽셀의 위치를 시각·카메라 관점에 맞춰 답하는 흐름을 살펴보자. 출처와 전체 설명 · 영상 직접 열기

한 순간의 모양과 깊이를 다루는 정적인 3D 재구성에 시간에 따른 점의 대응 관계를 더한 동적인 4D 재구성을 대비한 교육용 그림

정적인 3D 재구성은 “지금 이 점이 카메라에서 얼마나 떨어져 있나”를 주로 묻습니다. 4D 재구성은 여기에 “같은 점이 시간이 지나 어디로 갔나”, “카메라가 움직여 배경이 흐른 것인가”, “물체가 가려졌다가 다시 나타난 것인가”를 더합니다.

D4RT의 강점은 필요한 질문을 필요한 만큼만 한다는 데 있습니다. 영상을 읽는 무거운 encoder는 장면 전체의 geometry와 motion을 담은 표현을 한 번 만들고, 이후 decoder는 특정 픽셀·시각·관점에 관한 많은 질의를 병렬로 답할 수 있습니다. 전체 장면을 매번 처음부터 계산하는 방식보다 빠를 수 있는 구조적 이유입니다.

DeepMind의 공식 설명은 여러 벤치마크에서 이전 방법보다 18배에서 300배 빠르다고 소개합니다. 예시로 한 TPU에서 1분 영상을 약 5초에 처리했다는 사례도 제시합니다. 그러나 이 숫자는 모든 스마트폰이나 모든 로봇에서 같은 배율이 나온다는 뜻이 아닙니다. 하드웨어, 해상도, 질의 수, 가림 정도, 전처리·후처리 여부가 다르면 실제 지연 시간도 달라집니다.

로봇과 AR에는 어디까지 도움이 될까

MPI Sintel 점구름 재구성 비교: 3D Fidelity는 MapAnything 0.282, VGGT 0.420, MegaSaM 0.469, SpatialTrackerV2 0.625, π3 0.861, D4RT 1.091. 높을수록 좋다.
Google DeepMind의 MPI Sintel 점구름 재구성 비교. 세로축은 정확도 백분율이 아니라 2 − L1 오차로 정의한 3D Fidelity다. 막대가 높으면 이 평가에서 복원한 3D 위치의 오차가 작다는 뜻이며, 1.091을 109.1% 정확도로 읽으면 안 된다. 출처와 평가 설명 · 이미지를 누르면 원본 확대.

로봇이 사람과 물체가 움직이는 공간에서 안전하게 움직이려면 공간 인식이 필요합니다. D4RT 같은 모델은 가려진 점의 위치를 추정하고, 카메라 흔들림과 물체 움직임을 분리하며, 장면의 깊이를 제공하는 입력이 될 수 있습니다. AR에서는 가상 표시가 실제 책상·바닥에 흔들리지 않고 붙도록 돕는 기초 정보가 될 수 있습니다.

하지만 인식이 곧 행동은 아닙니다. 컵을 잡는 로봇에는 물체 분할, 힘 제어, 충돌 검사, 지연 대응, 실패 시 안전 정지가 더 필요합니다. 시각 벤치마크의 점수가 높아도 어두운 공장, 반사 유리, 많은 사람이 서로 가리는 장면에서 안전하다는 보증은 아닙니다.

그래서 D4RT를 ‘세계 모델을 완성한 AI’라고 부르면 과장입니다. 이 연구가 직접 보여 준 것은 동영상에서 움직이는 3D 장면을 하나의 query 기반 구조로 복원·추적하는 방법과 그 벤치마크 성과입니다. 실제 로봇·AR 제품이 되려면 독립 재현, 현실 환경의 강건성, 전력과 지연, 안전 제어까지 이어져야 합니다.

공식 데모, 벤치마크 숫자의 뜻, 4D와 월드 모델을 구분하는 이유는 GitHub Pages 전체 해설에서 자세히 정리했습니다.

공식 자료

작동 원리 영상과 MPI Sintel 차트의 출처는 Google DeepMind이며 공식 서버에서 연결해 표시합니다. 두 한국어 설명 도식은 JJo가 직접 제작했습니다.