Cambrian-P: 비디오 LLM에 '카메라 위치 감각'을 넣다

비디오 이해에서 어려운 문제는 단순히 “무엇이 보이는가”가 아니다. 카메라가 어디에 있고, 어떤 방향으로 움직이며, 프레임들이 같은 공간 안에서 어떻게 이어지는지를 이해해야 한다.

Cambrian-P는 이 지점을 겨냥한 비디오 멀티모달 LLM이다. 이름의 P는 포즈(pose), 더 정확히는 카메라 포즈를 뜻한다. 핵심은 비디오를 독립적인 이미지 묶음이 아니라, 움직이는 카메라가 관측한 하나의 공간적 경험으로 다루는 데 있다.

비디오 프레임을 ‘공간’으로 연결하기

카메라 포즈는 각 시점의 위치와 방향을 정의한다.¹ 이 정보가 있으면 여러 프레임은 서로 분리된 2D 스냅샷이 아니라, 하나의 공유 공간 좌표계 안에서 연결된 관측으로 해석될 수 있다.¹

기존 비디오용 멀티모달 LLM은 많은 경우 프레임을 개별 이미지처럼 처리한다.¹ 이 방식은 장면에 무엇이 있는지 파악하는 데는 유용하지만, 다음과 같은 질문에서는 한계가 드러날 수 있다.

• 카메라가 왼쪽으로 이동했는가?

• 물체가 가까워졌는가, 멀어졌는가?

• 방 안에서 이동 경로가 일관적인가?

• 서로 다른 프레임의 물체가 같은 공간상 위치를 가리키는가?

즉, 비디오 이해에는 시각 정보뿐 아니라 시점의 변화까지 함께 필요하다.

Cambrian-P의 접근: 프레임과 포즈를 함께 학습한다

Cambrian-P는 각 프레임에 학습 가능한 카메라 토큰을 추가하고, 포즈를 예측하는 회귀 헤드를 포함한다.¹ 구조적으로는 비디오 MLLM에 카메라 위치 감각을 더하는 방식에 가깝다.

중요한 점은 포즈를 별도의 무거운 3D 모듈로만 다루지 않는다는 것이다. Cambrian-P는 포즈를 경량 지도 신호로 다시 활용하는 접근을 제시한다.¹ 모델이 프레임 속 사물만 보는 것이 아니라, 프레임들이 어떤 공간 관계 속에서 이어지는지도 학습하도록 유도하는 셈이다.

이 변화의 의미는 실용적이다. 비디오 모델이 장면을 더 잘 이해하려면 “이미지 안의 객체 인식”을 넘어 “관측 위치의 변화”를 함께 다뤄야 한다. Cambrian-P는 그 방향을 명확히 보여준다.

성능보다 더 중요한 판단 기준

논문은 Cambrian-P가 VSI-Bench 같은 공간 추론 벤치마크에서 4.5~6.5% 성능 향상을 보였고, 8개 추가 공간·일반 비디오 QA 벤치마크에도 일반화됐다고 보고한다.¹ 프로젝트 페이지 역시 Cambrian-S 대비 VSI-Bench 평균 정확도 +4.5% 향상을 제시한다.²

다만 여기서 봐야 할 핵심은 숫자 자체보다 평가 관점이다. 앞으로 비디오 LLM을 볼 때는 일반적인 정답률만 확인해서는 부족하다. 다음과 같은 능력을 따로 살펴볼 필요가 있다.

• 카메라 이동을 일관되게 이해하는가

• 프레임 간 상대 위치를 추론하는가

• 이동 경로와 장면 구조를 연결해 설명할 수 있는가

• 공간 추론 성능이 일반 비디오 QA로도 이어지는가

Cambrian-P는 비디오 모델 평가에서 “공간적 일관성”이 중요한 기준이 될 수 있음을 보여준다.

어디에 유용할까

포즈 기반 비디오 이해는 로봇, AR, 실내 내비게이션, 긴 영상 분석처럼 장면의 연결성이 중요한 영역에서 특히 의미가 있다. 이런 분야에서는 한 장면 안에 무엇이 있는지만큼이나, 카메라가 어디에서 어디로 이동했는지가 중요하다.

Cambrian-P의 메시지는 분명하다. 비디오는 이미지의 묶음이 아니라, 움직이는 카메라가 본 세계다. 모델이 그 세계를 이해하려면 픽셀뿐 아니라 시점의 위치와 방향도 함께 배워야 한다.

¹Cambrian-P: Pose-Grounded Video Understanding

²Cambrian-P 프로젝트 페이지