로봇 데이터는 왜 비싼가
VLA가 좋아지려면 좋은 행동 데이터를 많이 봐야 한다. 여기서 말하는 행동 데이터는 단순한 이미지 모음이 아니다. 로봇이 무엇을 보았는지, 어떤 지시를 받았는지, 그 순간 몸이 어떤 상태였는지, 어떤 행동을 했는지, 그리고 그 행동이 성공했는지가 시간 순서대로 묶인 기록이다.
웹 이미지와 텍스트는 이미 인터넷에 대량으로 존재한다. 모델은 사진과 문장을 모아 그 관계를 배울 수 있다. 물론 저작권, 편향, 품질 문제가 있지만, 데이터 자체를 만드는 비용은 상대적으로 낮다. 반면 로봇 데이터는 물리 세계에서 직접 만들어야 한다. 로봇 팔이 움직이는 데 시간이 걸리고, 실패하면 물건이 떨어지거나 장비가 망가질 수 있다. 사람의 안전도 고려해야 한다.
그래서 로봇 데이터의 핵심 병목은 양만의 문제가 아니다. 한 번의 시도에 시간이 걸리고, 장비가 필요하며, 환경을 다시 세팅해야 한다. 같은 컵 집기라도 컵 위치, 조명, 카메라 각도, 로봇 팔 종류, 그리퍼 모양이 달라지면 데이터의 의미가 크게 달라진다. 로봇에게 데이터는 인터넷 문장보다 훨씬 느리고, 비싸고, 위험하다.
AI 생성 이미지
하나의 데이터는 하나의 실행 기록이다
로봇 학습에서 자주 쓰는 단위는 에피소드(episode) 또는 궤적(trajectory)이다. 에피소드는 작업 시작부터 끝까지의 실행 기록이다. 보통 하나의 에피소드는 여러 시점(step)으로 나뉘고, 각 시점마다 관측과 행동이 함께 저장된다. 예를 들어 '빨간 컵을 집어서 쟁반 위에 놓아라'라는 작업의 에피소드는 다음과 같은 정보를 포함한다.
카메라 이미지 또는 영상
자연어 지시
로봇 관절 각도와 속도
엔드이펙터 위치와 회전
그리퍼 열림 정도
각 시점의 행동 명령
작업 성공 여부
실패했다면 실패가 발생한 시점과 원인
여기서 관절 상태처럼 로봇 자신의 몸 상태를 느끼는 정보를 고유수용감각(proprioception)이라고 한다. 사람으로 치면 눈을 감고도 팔이 어디쯤 있는지 아는 감각이다. 로봇은 카메라만으로 행동하지 않는다. 팔이 얼마나 뻗어 있는지, 손이 얼마나 열려 있는지, 모터가 어떤 속도로 움직이는지도 알아야 한다.
또 중요한 것은 시간 순서다. 이미지 분류에서는 한 장의 사진만으로도 '컵'을 맞힐 수 있다. 하지만 로봇 조작에서는 이전 행동이 다음 상태를 바꾼다. 컵을 잡기 전, 잡는 순간, 들어 올린 뒤의 상태가 모두 연결되어야 한다. VLA가 행동 디코더를 제대로 학습하려면 '무엇을 보았는가'뿐 아니라 '그 상태에서 어떤 행동을 했고, 결과가 어떻게 되었는가'를 함께 배워야 한다.
데이터를 모으는 네 가지 길
로봇 데이터를 모으는 대표적인 방법은 원격 조작, 사람 시연, 자율 탐색, 시뮬레이션이다. 네 방법은 서로 대체 관계라기보다 보완 관계에 가깝다.
원격 조작(teleoperation)은 사람이 조이스틱, VR 장비, 마스터 장치 등을 이용해 로봇을 직접 움직이는 방식이다. 장점은 로봇의 실제 센서와 실제 행동 명령이 그대로 기록된다는 점이다. VLA 입장에서는 학습하기 좋은 데이터다. 단점은 느리고 비싸다는 것이다. 숙련된 조작자가 필요하고, 한 번에 한 대 또는 소수의 로봇만 다룰 수 있다. 사람의 조작 습관이 데이터에 강하게 남는 것도 문제다.
사람 시연(human demonstration)은 사람이 직접 작업하는 모습을 영상이나 센서로 기록하는 방식이다. 사람이 물건을 집고, 열고, 정리하는 데이터는 훨씬 많이 모을 수 있다. 하지만 사람 손과 로봇 그리퍼는 다르다. 사람은 손가락으로 미끄러짐을 느끼며 힘을 조절하지만, 로봇은 제한된 센서와 관절로 움직인다. 따라서 사람 시연은 목표와 순서를 배우는 데 유용하지만, 그대로 로봇 행동으로 바꾸려면 추가 변환이 필요하다.
자율 탐색(autonomous exploration)은 로봇이 스스로 시도하면서 데이터를 만드는 방식이다. 성공뿐 아니라 실패도 자연스럽게 쌓인다. 장기적으로는 가장 확장성이 높은 방법 중 하나다. 그러나 초기 모델이 약하면 위험한 행동을 많이 할 수 있다. 그래서 안전 구역, 속도 제한, 충돌 감지, 사람 감독이 필요하다. 자율 탐색은 '아무렇게나 해보는 것'이 아니라 안전한 경계 안에서 새로운 상태를 찾아가는 과정이다.
시뮬레이션(simulation)은 가상 환경에서 로봇을 움직여 데이터를 만드는 방식이다. 같은 작업을 수천 번 반복할 수 있고, 물체 위치나 조명, 마찰 같은 조건도 쉽게 바꿀 수 있다. 실패해도 장비가 망가지지 않는다. 문제는 현실과의 차이다. 시뮬레이터의 마찰, 카메라 노이즈, 물체 변형이 실제와 다르면 시뮬레이션에서 잘하던 정책이 현실에서 실패한다. 그래서 시뮬레이션 데이터는 현실 데이터와 함께 쓰거나, 현실 차이를 줄이는 보정 과정이 필요하다.
다른 로봇의 데이터를 하나로 합치는 어려움
로봇 데이터 스케일링에서 가장 어려운 문제는 표준화다. 웹 텍스트에는 문장이라는 공통 형식이 있다. 이미지도 픽셀 배열이라는 비교적 단순한 형식으로 맞출 수 있다. 하지만 로봇은 몸이 다르다.
어떤 로봇은 6축 팔이고, 어떤 로봇은 7축 팔이다. 어떤 로봇은 두 손을 쓰고, 어떤 로봇은 이동 베이스 위에 팔이 달려 있다. 카메라가 천장에 있을 수도 있고, 손목에 붙어 있을 수도 있다. 그리퍼도 평행 집게, 흡착기, 다지(多指) 그리퍼처럼 다르다. 같은 '앞으로 5cm 이동'도 기준 좌표계가 어디인지에 따라 전혀 다른 행동이 된다.
그래서 데이터 통합에는 몇 가지 질문이 따라온다.
행동을 관절 명령으로 저장할 것인가, 엔드이펙터 이동량으로 저장할 것인가
좌표계는 로봇 기준인가, 카메라 기준인가, 작업대 기준인가
그리퍼 열림 값 1은 완전히 열린 상태인가, 닫힌 상태인가
카메라 프레임과 행동 명령의 시간 지연은 어떻게 맞출 것인가
성공 여부와 작업 이름은 어떤 기준으로 기록할 것인가
Open X-Embodiment는 이런 문제를 해결하려는 대표적 시도다. 이 프로젝트의 논문 초록은 21개 기관이 협력해 22개 로봇에서 수집한 데이터를 모았고, 그 안에 527개 기술과 160,266개 태스크가 포함되어 있다고 설명한다1. 프로젝트 페이지는 또한 60개 기존 데이터셋, 34개 로봇 연구실, 100만 개 이상의 실제 로봇 궤적을 강조한다1. 핵심은 단일 로봇에 갇힌 데이터가 아니라, 서로 다른 몸과 환경에서 얻은 경험을 함께 학습하려는 것이다.
하지만 표준 형식은 만능이 아니다. Open X-Embodiment 저장소는 여러 데이터셋을 RLDS 에피소드 형식으로 다룬다. 예를 들어 공개된 RT-1-X 모델 설명 기준으로는 관측 입력으로 작업 공간 RGB 이미지와 작업 문자열을 사용하고, 행동은 x, y, z, roll, pitch, yaw, 그리퍼 열림의 7개 변수로 표현한다. 이때 각 변수는 데이터셋에 따라 절대값, 변화량, 또는 속도를 뜻할 수 있다2. 이런 방식은 통합 학습을 쉽게 만들지만, 손목 카메라나 깊이 정보, 촉각 정보처럼 일부 로봇에만 있는 풍부한 센서를 모두 살리기는 어렵다. 표준화는 데이터를 합치기 위한 공통 언어를 만드는 일이지만, 동시에 각 로봇의 특수한 정보를 얼마나 유지하고 얼마나 단순화할지 결정하는 일이기도 하다.
실패 데이터가 실제 성능을 만든다
초기 로봇 학습 데이터는 성공한 시연에 집중하는 경우가 많았다. 사람이 잘 수행한 예시를 보여주고, 모델이 그것을 따라 하게 만드는 방식이다. 이를 모방학습(imitation learning)이라고 한다. 모방학습은 출발점으로 좋다. 그러나 성공 데이터만으로는 실제 배치에서 약하다.
이유는 간단하다. 로봇은 언젠가 삐끗한다. 컵을 약간 빗겨 잡거나, 물체가 미끄러지거나, 예상보다 무거운 물건을 들 수 있다. 성공한 시연만 본 모델은 이런 중간 실패 상태를 잘 모른다. 학습 데이터에 없던 상태에 들어가면 다음 행동이 더 나빠지고, 작은 오차가 큰 실패로 커진다.
그래서 중요한 데이터는 '완벽한 성공 장면'만이 아니다. 실패 직전의 장면, 실패한 뒤 멈추는 행동, 다시 잡기 위해 손을 빼는 행동, 물체를 밀어 정렬하는 행동이 필요하다. 이것을 복구 행동(recovery behavior)이라고 부를 수 있다. 실제 로봇은 한 번에 성공하는 기계가 아니라, 틀렸을 때 안전하게 고치며 목표에 가까워지는 시스템이어야 한다.
실패 데이터에는 두 가지 가치가 있다. 첫째, 모델이 위험한 상태를 알아보게 한다. 둘째, 위험하지 않은 방식으로 빠져나오는 방법을 배우게 한다. 예를 들어 그리퍼가 컵 가장자리를 약하게 잡았다면, 그대로 들어 올리지 않고 다시 내려놓은 뒤 잡는 위치를 수정해야 한다. 이런 판단은 성공 궤적만으로는 배우기 어렵다.
다만 실패 데이터를 그대로 많이 넣는 것도 위험하다. 모델이 나쁜 행동을 목표 행동처럼 모방하면 안 된다. 따라서 실패 데이터에는 라벨이 필요하다. 무엇이 실패였는지, 언제 개입해야 하는지, 어떤 복구 행동이 바람직한지 구분해야 한다. 로봇 데이터 정제는 단순히 파일을 모으는 일이 아니라, 행동의 의미를 다시 해석하는 작업이다.
스케일링은 양보다 구조의 문제다
로봇 데이터 스케일링은 '데이터를 더 많이 모으자'로 끝나지 않는다. 중요한 것은 어떤 데이터를, 어떤 형식으로, 어떤 비율로 섞을지다.
첫째, 공통 데이터 스키마가 필요하다. 스키마(schema)는 데이터 항목과 형식을 정한 약속이다. 이미지, 언어 지시, 로봇 상태, 행동, 성공 여부, 시간 정보가 일관되게 저장되어야 한다. 그래야 다른 연구실의 데이터를 가져와도 학습 파이프라인을 크게 바꾸지 않는다.
둘째, 데이터 혼합 비율을 관리해야 한다. 특정 로봇이나 특정 작업 데이터가 너무 많으면 모델이 그 환경에 치우친다. 반대로 희귀하지만 중요한 작업은 데이터 수가 적어도 더 높은 가중치를 줄 수 있다. 대규모 로봇 모델은 단순한 평균기가 아니라, 다양한 경험을 균형 있게 배우는 시스템이어야 한다.
셋째, 데이터 품질 평가가 필요하다. 카메라가 흔들렸는지, 시간 동기화가 어긋났는지, 행동 값의 단위가 잘못되었는지, 성공 라벨이 부정확한지 확인해야 한다. 로봇 데이터에서는 작은 기록 오류가 큰 행동 오류로 이어진다. 예를 들어 행동 명령이 이미지보다 0.2초 늦게 저장되면, 모델은 엉뚱한 상태와 행동을 연결해 배울 수 있다.
넷째, 실제 데이터와 시뮬레이션 데이터, 사람 영상 데이터를 역할별로 써야 한다. 실제 로봇 데이터는 행동 정밀도를 준다. 시뮬레이션은 다양한 조건을 빠르게 만든다. 사람 영상은 작업의 의도와 순서를 풍부하게 보여준다. VLA의 스케일링 전략은 이 세 종류의 데이터를 한데 섞되, 각각의 한계를 알고 보정하는 방향으로 가야 한다.
오픈 데이터와 생태계의 효과
대규모 로봇 데이터셋과 오픈소스 모델은 개별 연구실의 한계를 줄인다. 한 연구실이 모든 로봇, 모든 물체, 모든 환경을 갖추기는 어렵다. 하지만 여러 연구실이 데이터를 공유하고 공통 형식을 쓰면, 모델은 더 다양한 경험을 배울 수 있다.
Open X-Embodiment의 RT-X 계열 모델은 여러 로봇 데이터를 함께 학습했을 때 다른 플랫폼의 경험이 성능 향상에 도움이 될 수 있음을 보여주었다3. 이는 로봇 학습에서 중요한 전환점이다. 예전에는 '우리 로봇 데이터로 우리 로봇 정책을 학습한다'가 기본이었다. 이제는 '다른 로봇의 경험도 우리 로봇에 도움이 될 수 있는가'가 핵심 질문이 되었다.
LeRobot처럼 공개 허브에서 여러 로봇 데이터셋을 공통 형식으로 제공하는 흐름도 중요하다. Open X-Embodiment 기반 데이터셋들이 LeRobot 데이터 형식으로 공개되면, 연구자와 개발자는 데이터 변환보다 모델 설계와 평가에 더 많은 시간을 쓸 수 있다4. 데이터 접근성이 높아질수록 작은 팀도 VLA 실험을 시작할 수 있고, 재현 가능한 비교도 쉬워진다.
물론 오픈 데이터가 모든 문제를 해결하지는 않는다. 공개 데이터가 특정 실험실 환경에 치우쳐 있을 수 있고, 실제 산업 현장의 먼지, 진동, 좁은 공간, 예외 상황은 충분히 담기지 않을 수 있다. 또한 데이터셋에 포함된 행동이 안전하다고 해서 새 로봇에서 그대로 안전한 것은 아니다. 하드웨어가 다르면 같은 정책도 다른 결과를 만든다.
그래도 방향은 분명하다. Physical AI의 발전은 모델 크기만으로 결정되지 않는다. 로봇이 실제 세계에서 겪은 경험을 얼마나 체계적으로 모으고, 실패와 복구를 얼마나 잘 기록하며, 서로 다른 몸의 데이터를 얼마나 공통 언어로 묶을 수 있는지가 성능을 좌우한다. VLA의 다음 도약은 더 큰 모델만이 아니라, 더 좋은 로봇 데이터 인프라에서 나온다.
참고
1Open X-Embodiment: Robotic Learning Datasets and RT-X Models
3Open X-Embodiment: Robotic Learning Datasets and RT-X Models 논문
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.