자율주행에서 카메라 포즈 추정은 차량 카메라가 프레임 사이에서 얼마나 이동하고 회전했는지를 예측하는 문제입니다. 정확한 3D 공간 이해의 기초가 되지만, 보통은 LiDAR, 정밀 보정, 3D 라벨처럼 비용이 큰 데이터에 의존합니다.
Wayve의 CVPR 2026 논문 “LA-Pose: Latent Action Pretraining Meets Pose Estimation”는 이 문제를 다른 순서로 풉니다.1 처음부터 3D 포즈 라벨을 많이 요구하는 대신, 먼저 라벨 없는 주행 영상에서 움직임의 구조를 배우고, 이후 소량의 3D 라벨로 카메라 포즈 예측에 연결합니다.
핵심은 간단합니다. 포즈를 직접 외우기 전에, 영상 속 움직임을 이해하게 만드는 것입니다.
LA-Pose가 먼저 배우는 것: 잠재 행동
LA-Pose의 1단계는 Latent Action Pretraining입니다. 모델은 약 1,000만 개의 라벨 없는 주행 비디오 클립을 이용해 연속 프레임 사이의 변화를 압축된 표현으로 학습합니다.2
여기서 말하는 잠재 행동은 실제 차량의 조향각, 속도 명령, 헤딩각 같은 명시적 제어값이 아닙니다. 영상에서 관찰되는 변화, 즉 “장면이 어떤 방식으로 움직였는가”를 담은 표현입니다. 직진, 회전, 정지에 가까운 변화 패턴이 이 표현 안에 자연스럽게 정리되는 방식입니다.3
LA-Pose는 이를 위해 역방향-순방향 동역학 시스템을 사용합니다.4 두 프레임 사이에 어떤 움직임이 있었는지를 추정하고, 그 움직임으로 프레임 변화를 설명하도록 학습합니다. 중요한 점은 이 과정에서 정밀 속도, 헤딩각, 3D 포즈 라벨이 필요하지 않다는 것입니다. 주행 영상 자체가 학습 신호가 됩니다.
그다음, 적은 라벨로 3D 포즈에 연결한다
사전학습이 끝나면 2단계로 넘어갑니다. 이때 LA-Pose는 학습된 모션 인코더를 고정하고, 그 위에 가벼운 포즈 예측 헤드만 학습합니다.5
이 포즈 예측 헤드는 잠재 행동 표현을 다음과 같은 값으로 변환합니다.
상대 이동
회전
시야각
스케일
즉, 1단계에서 배운 “움직임의 압축 표현”을 실제 카메라 포즈 예측에 필요한 값으로 매핑하는 단계입니다. 추론 과정은 피드포워드 방식으로 동작합니다. 반복 최적화 없이 한 번의 전방 계산으로 결과를 내기 때문에 실제 시스템에 적용할 때 구조가 단순해집니다.
여기서 주목할 부분은 단순히 성능 수치가 아니라 학습 비용의 배분 방식입니다. LA-Pose는 Waymo와 PandaSet 벤치마크에서 최근 피드포워드 방식보다 10% 이상 높은 포즈 정확도를 보였고, 훨씬 적은 라벨 데이터를 사용했다고 보고됐습니다.6 비싼 라벨을 많이 붙이는 대신, 이미 존재하는 대규모 주행 영상에서 먼저 기하적 단서를 끌어내는 접근입니다.
왜 중요한가
LA-Pose가 던지는 질문은 명확합니다.
3D 라벨이 충분하지 않으면, 모델은 기하를 배울 수 없는가?
LA-Pose의 답은 “반드시 그렇지는 않다”에 가깝습니다. 특히 주행 영상처럼 시간에 따라 장면이 계속 변하는 데이터에서는, 프레임 간 변화 자체가 강한 자기지도 학습 신호가 될 수 있습니다.
이 관점은 자율주행 데이터 전략에도 의미가 있습니다. 모든 장면에 고품질 3D 라벨을 붙이는 대신, 먼저 대규모 비디오로 움직임 표현을 학습하고, 필요한 만큼의 라벨로 실제 포즈 예측에 맞추는 방식이 더 효율적일 수 있기 때문입니다.
물론 한계도 있습니다. Wayve는 후진 움직임처럼 데이터에서 드문 패턴에서는 성능 저하가 있다고 밝혔습니다.7 자기지도 학습도 결국 데이터 분포의 영향을 받습니다. 많이 본 움직임은 잘 배우지만, 드문 움직임은 여전히 취약할 수 있습니다.
실무적으로 봐야 할 판단 기준
LA-Pose를 볼 때는 “새 포즈 추정 모델”이라는 점보다 다음 세 가지를 중심으로 보는 편이 유용합니다.
라벨 없는 비디오를 얼마나 잘 활용하는가
LA-Pose의 핵심 가치는 3D 라벨 없이도 움직임 패턴을 사전학습한다는 데 있습니다.사전학습 표현이 실제 포즈 예측으로 잘 전이되는가
잠재 행동 표현은 그 자체로 끝나지 않고, 상대 이동과 회전 같은 카메라 포즈 값으로 변환되어야 합니다.데이터 분포 밖 움직임에 얼마나 강한가
드문 주행 패턴에서 성능이 떨어질 수 있다는 점은 실제 적용에서 반드시 확인해야 할 부분입니다.
정리
LA-Pose는 카메라 포즈 추정을 “라벨을 많이 모아 직접 학습하는 문제”에서 “라벨 없는 주행 영상으로 먼저 움직임을 배우고, 적은 라벨로 포즈에 연결하는 문제”로 재구성합니다.
결론은 분명합니다. 자율주행 인식 모델은 앞으로 비싼 3D 라벨에만 의존하기보다, 이미 축적된 대규모 주행 영상에서 움직임과 기하의 구조를 먼저 학습하는 방향으로 더 나아갈 가능성이 큽니다. LA-Pose는 그 흐름을 보여주는 구체적인 사례입니다.
참고
1LA-Pose: Latent Action Pretraining Meets Pose Estimation
2LA-Pose: What 10 million Driving Videos Taught Us About Camera Pose Estimation - Wayve
4LA-Pose: Latent Action Pretraining Meets Pose Estimation
6LA-Pose: What 10 million Driving Videos Taught Us About Camera Pose Estimation - Wayve
7LA-Pose: What 10 million Driving Videos Taught Us About Camera Pose Estimation - Wayve
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.