영상 AI의 과제는 객체를 탐지하는 데서 끝나지 않는다. 사람이 한 카메라의 시야를 벗어나 다른 카메라에 나타났을 때도 동일한 사람으로 식별해야 한다. 그러나 단일 카메라 기반 2D 추적은 신뢰할 수 있는 깊이 정보를 얻기 어렵고, 객체가 화면 밖으로 나가면 추적이 끊긴다.1
NVIDIA DeepStream 9.1은 이 문제를 여러 카메라의 정보를 하나의 3D 공간에 통합하는 방식으로 해결한다. 핵심은 Multi-View 3D Tracking(MV3DT)과 구축 과정을 자동화하는 에이전틱 스킬이다.
여러 카메라를 하나의 3D 공간으로 통합하는 MV3DT
MV3DT는 보정된 각 카메라의 탐지 결과를 공통 3D 좌표계로 투영한다. 그런 다음 3D 공간에서 가까운 트랙릿을 연결해 객체마다 카메라 전반에서 일관된 ID를 부여한다.1 트랙릿은 짧은 시간 동안 이어진 객체의 이동 기록을 뜻한다.
각 카메라는 YAML 보정 파일에 저장된 3×4 투영 행렬을 사용한다. 이를 바탕으로 2D 경계 상자를 3D 세계 좌표로 역투영하며, 카메라 간 트랙릿은 경량 발행·구독 메시징 프로토콜인 MQTT로 공유된다.1
이 구조는 카메라별 추적 결과를 따로 관리하는 대신, 여러 시야에서 관찰된 객체를 하나의 이동 경로로 이해하게 해준다. 다만 역투영 과정은 객체가 지면 위에 있다는 가정을 사용하므로 계단이나 높이 변화가 큰 공간에서는 별도의 정확도 검증이 필요하다.
현장에 맞는 탐지 모델 선택
추적 품질은 입력이 되는 객체 탐지 결과에 크게 좌우된다. DeepStream 9.1의 MV3DT는 기본 보행자 탐지기로 트랜스포머 기반 PeopleNetTransformer를 제공한다.1
요구사항에 따라 다른 모델도 고려할 수 있다.
PeopleNetTransformer: 보행자 중심의 멀티카메라 추적에 적합한 기본 선택지
PeopleNet 2.6.3: DetectNet_v2 아키텍처 기반의 고효율 탐지기
RT-DETR 2D: 보행자뿐 아니라 운송 장비와 지게차까지 구분할 수 있는 다중 클래스 모델
따라서 모델은 단순 정확도뿐 아니라 추적 대상의 종류, 필요한 클래스 수, 운영 환경의 연산 조건을 기준으로 선택해야 한다.
자동화의 초점은 파이프라인 구축 과정
MV3DT를 사용하려면 카메라 보정이 선행돼야 한다. DeepStream 9.1의 AutoMagicCalib은 이 수동 보정 작업을 제거해 멀티카메라 환경을 구성하는 부담을 낮춘다.1
DeepStream 9.1에는 AutoMagicCalib을 포함해 자연어 프롬프트로 다중 카메라 영상 분석 파이프라인을 구축할 수 있는 13개의 에이전틱 스킬이 포함됐다. 의미 있는 변화는 모델 자체보다 환경 구성과 설정처럼 반복되기 쉬운 구축 절차를 자동화하고 표준화할 수 있다는 점이다.
도입 전에 확인할 세 가지
DeepStream 9.1을 적용할 때는 다음 기준을 우선 확인해야 한다.
카메라 보정 품질
공통 3D 좌표계가 정확하지 않으면 카메라 간 트랙릿 연결과 전역 ID의 신뢰도가 낮아진다.공간 구조
지면 가정이 잘 맞는 평탄한 공간인지, 계단이나 층간 이동처럼 높이 변화가 큰 환경인지 검토해야 한다.탐지 대상과 모델
보행자만 추적할지, 지게차와 운송 장비까지 구분할지에 따라 적합한 탐지 모델이 달라진다.
처음부터 전체 현장에 적용하기보다 제한된 카메라 구역에서 전역 ID가 안정적으로 유지되는지 검증한 뒤 범위를 넓히는 편이 안전하다.
DeepStream 9.1은 JetPack 7.2와 통합 오픈소스 GitHub 모노레포도 지원한다.2 결국 이번 버전의 가치는 새로운 탐지 기능 하나에만 있지 않다. 여러 카메라의 2D 탐지 결과를 일관된 3D 추적으로 연결하고, 그 파이프라인을 실제 현장에 구축하는 과정을 단축했다는 데 있다.
1Build a Multi-Camera 3D Tracking Application with NVIDIA DeepStream 9.1 Skills
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.