TDQC: 로봇 정책의 "확신"을 다시 보정하는 방법

AI 생성 이미지

로봇 정책이 내놓는 행동 확률은 흔히 “지금 이 행동이 그럴듯한가”를 보여줍니다. 하지만 그것이 곧 “이 작업이 결국 성공할 가능성”을 뜻하지는 않습니다. 집기, 이동, 놓기처럼 여러 단계가 이어지는 작업에서는 초반 행동 확률이 높아도 마지막에는 실패할 수 있습니다.

TDQC는 바로 이 간극을 다루는 프레임워크입니다. 시간차 학습(Temporal Difference)을 이용해 VLA(Vision-Language-Action) 로봇 정책의 불확실성을 보정하고, 매 순간의 확률을 최종 작업 성공률에 더 가깝게 맞추는 것이 핵심입니다.¹

TDQC가 바꾸는 질문: “그럴듯한 행동인가”에서 “성공할 작업인가”로

TDQC의 출발점은 단순합니다. 로봇이 선택한 행동의 확률이 높다고 해서, 전체 과제가 성공한다고 볼 수는 없습니다. 따라서 중요한 질문은 다음처럼 바뀝니다.

지금까지의 진행을 보면, 이 작업은 성공할 가능성이 얼마나 되는가?

연구진은 이를 위해 순차 작업용 Brier score를 정의하고, 이 기준에서 최적 예측이 강화학습의 가치 함수와 연결된다고 설명합니다.¹ 즉, 불확실성 보정 문제를 “앞으로 성공할 가능성을 예측하는 문제”로 다시 구성한 것입니다.

이 접근이 실용적인 이유는 내부 hidden state에 접근하지 않아도 된다는 점입니다. TDQC는 행동 확률만으로도 경쟁력 있는 불확실성 추정을 만들 수 있다고 보고됐습니다.¹ 모델을 API 형태로 사용하거나 내부 구조를 직접 수정하기 어려운 환경에서는 이 점이 특히 중요합니다.

왜 실제 로봇 배포에서 중요한가

로봇 정책 배포 자체는 점점 체계화되고 있습니다. 예를 들어 Isaac Lab에서 학습한 강화학습 reach 정책은 Isaac ROS를 통해 실제 UR10e 매니퓰레이터에 배포할 수 있습니다.² 이 과정은 시뮬레이션에서 정책을 학습·검증한 뒤, 실제 로봇에서 추론 파이프라인을 실행하는 흐름으로 구성됩니다.²

구체적으로 Isaac Lab 예시는 RSL-RL을 사용해 Isaac-Deploy-Reach-UR10e-ROS-Inference-v0 환경에서 정책을 학습합니다.² 정책 검증에는 .pth 형식의 체크포인트 파일 경로가 필요하고, 실제 로봇 배포 단계에서는 ros-jazzy-isaac-manipulator-ur-dnn-policy Debian 패키지를 설치합니다.² UR 로봇 드라이버 실행에는 로봇 종류, 로봇 IP, 임피던스 컨트롤러, 로봇 보정 파일 경로도 사용됩니다.²

이처럼 배포 파이프라인이 갖춰져 있어도, 정책을 언제까지 믿고 실행할지는 별개의 문제입니다. 실제 로봇에서는 “정책이 지금 실패 쪽으로 가고 있는지”를 조기에 감지할 수 있어야 합니다. 단순히 행동을 생성하는 능력만으로는 충분하지 않습니다.

TDQC는 이 지점에서 유용한 신호를 제공합니다. 연구는 LIBERO, WidowX, Franka 데이터와 OpenVLA, UniVLA, π₀ 계열 모델에서 평가됐고, TD 기반 방법이 여러 설정에서 더 낮은 순차 Brier score를 보였습니다.¹ 또한 보정된 성공 확률을 conformal prediction과 함께 사용해 실패 전 조기 중단에 활용할 수 있다고 제시합니다.¹

실무자가 볼 판단 기준

TDQC를 단순한 성능 개선 기법으로만 보면 핵심을 놓치기 쉽습니다. 더 중요한 의미는 로봇 정책을 “행동 생성기”에서 “자신의 성공 가능성을 설명하는 시스템”으로 확장한다는 데 있습니다.

실무 관점에서는 다음 세 가지를 확인해야 합니다.

1. 행동 확률이 실제 작업 성공률과 맞는가
   높은 행동 확률이 반복적으로 실패로 이어진다면, 그 확률은 신뢰도 지표로 부족합니다.

2. 중간 단계에서 실패 가능성을 감지할 수 있는가
   순차 작업에서는 마지막 실패를 기다리는 것보다, 실패 징후를 일찍 포착하는 것이 중요합니다.

3. 내부 상태 접근 없이 적용 가능한가
   API 기반 모델이나 폐쇄형 VLA 정책을 사용하는 경우, hidden state 없이 동작하는 보정 방식은 적용 가능성을 높입니다.

TDQC는 이 세 질문에 대한 하나의 답을 제시합니다. 로봇이 무엇을 할지 결정하는 것만큼 중요한 것은, 그 결정이 성공으로 이어질지 판단하는 능력입니다. 그리고 실제 배포 환경에서는 성공 가능성이 낮아질 때 멈출 수 있는 신호가 곧 안전성과 운영 효율의 차이를 만듭니다.

¹Temporal Difference Calibration in Sequential Tasks: Application to Vision-Language-Action Models

²Tutorial for Training and Deploying an RL Policy from Isaac Lab to a Real Robot