Valeo.ai가 트랜스포머 기반 주행 에이전트를 공개했다. NAVSIM에서 최고 수준 성능을 기록한 것으로 소개됐고, 코드와 모델도 오픈소스로 제공된다.1
이 소식의 핵심은 “또 하나의 자율주행 모델이 나왔다”가 아니다. 더 중요한 질문은 이것이다. 자율주행 AI의 성능을 무엇으로 판단할 것인가?
사람의 운전 궤적을 그럴듯하게 따라 하는 것만으로는 충분하지 않다. 실제 주행 계획은 안전해야 하고, 실행 가능해야 하며, 목적지 방향으로 자연스럽게 진행되어야 한다. Valeo.ai의 사례는 자율주행 모델을 볼 때 점수 자체보다 그 점수가 어떤 평가 방식에서 나온 것인지를 먼저 봐야 한다는 점을 보여준다.
NAVSIM이 중요한 이유
NAVSIM은 자율주행 플래너를 평가하는 벤치마크다. 안전성, 실행 가능성, 진행도, 승차감 같은 규칙 기반 계획 지표를 사용한다.2
이 지점이 중요하다. 많은 엔드투엔드 자율주행 플래너는 과거 로그에 기록된 하나의 주행 궤적을 모방하도록 학습된다.2 쉽게 말해 “사람이 이렇게 운전했으니 모델도 비슷하게 가라”는 방식이다.
하지만 평가 기준은 단순 모방과 다르다. 로그 경로와 가까운 궤적이라도 규칙을 위반할 수 있고, 반대로 시연 궤적에서 조금 벗어난 대안 궤적이 더 유효하고 높은 점수를 받을 수도 있다.2
따라서 NAVSIM 성능을 해석할 때는 “사람처럼 보이는가”보다 “계획으로서 좋은가”를 봐야 한다. 자율주행 플래너의 목표는 과거를 복사하는 것이 아니라, 현재 장면에서 안전하고 실행 가능한 다음 행동을 선택하는 것이기 때문이다.
트랜스포머 주행 에이전트를 볼 때의 기준
트랜스포머 기반 주행 에이전트는 입력 장면을 바탕으로 미래 주행 행동을 예측하고 계획한다. 구조적으로는 카메라나 센서 정보에서 중요한 맥락을 추출해 다음 궤적을 만드는 방식으로 이해할 수 있다.
다만 “트랜스포머를 썼다”는 사실만으로 좋은 플래너라고 판단할 수는 없다. 실제로 봐야 할 기준은 더 구체적이다.
첫째, 다양한 후보 궤적을 만들 수 있는가.
둘째, 그 후보들 중 더 나은 계획을 고를 수 있는가.
셋째, 학습 목표와 실제 평가 지표 사이의 간극을 줄였는가.
특히 후보 선택형 플래너에서는 성능이 후보 궤적 집합의 커버리지와 스코어러의 순위 품질에 좌우된다.2 즉, 좋은 답을 고르려면 먼저 좋은 답이 후보 안에 있어야 하고, 그다음 그 후보를 제대로 평가할 수 있어야 한다.
이 관점에서 NAVSIM SOTA라는 표현은 단순한 순위보다 더 넓게 읽어야 한다. 해당 모델이 어떤 상황에서 강한지, 어떤 규칙 기반 지표에서 좋은지, 후보 생성과 선택 과정이 얼마나 견고한지를 함께 봐야 한다.
오픈소스 공개가 주는 가치
Valeo.ai의 공개가 의미 있는 이유는 재현 가능성이다. 자율주행 연구는 데이터, 모델, 평가 코드가 닫혀 있으면 결과를 비교하기 어렵다. “SOTA”라는 주장도 같은 조건에서 검증하기 힘들다.
코드와 모델이 공개되면 연구자는 같은 환경에서 결과를 재현할 수 있다. 실패 사례를 분석하고, 다른 평가 기준을 붙여보고, 특정 장면에서 모델이 왜 그런 계획을 선택했는지도 더 쉽게 확인할 수 있다.
자율주행처럼 안전이 중요한 분야에서는 성능 수치만큼이나 검증 가능성이 중요하다. 높은 점수는 출발점일 뿐이고, 실제 가치는 그 점수를 어떻게 얻었는지, 다른 조건에서도 같은 판단을 유지하는지에서 드러난다.
점수보다 먼저 볼 것
Valeo.ai의 트랜스포머 주행 에이전트는 NAVSIM 성능과 오픈소스 공개라는 점에서 주목할 만하다.1 하지만 이 사례에서 더 크게 배울 점은 모델 이름이나 순위가 아니다.
자율주행 AI를 평가할 때는 다음 질문을 함께 던져야 한다.
어떤 지표로 평가했는가?
그 지표가 안전성, 실행 가능성, 진행도, 승차감을 어떻게 반영하는가?
모델은 다양한 후보 궤적을 고려하는가?
좋은 후보를 제대로 선택할 수 있는가?
사람의 로그를 모방하는 것과 실제 계획 품질 사이의 간극을 줄였는가?
결론은 단순하다. 자율주행 모델을 볼 때 점수 하나만 보지 말자. 평가 방식, 후보 궤적의 폭, 선택 품질, 안전 규칙과의 정합성을 함께 봐야 한다. 그것이 NAVSIM 결과를 제대로 읽는 방법이고, Valeo.ai의 공개가 연구 커뮤니티에 주는 실질적인 가치다.
1Valeo.ai Open-Sources Transformer Driving Agent With SOTA NAVSIM Results
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.