로봇 학습의 병목은 데이터다

프롤로그에서 우리는 집안일이 왜 로봇에게 어려운지 살펴보았다. 이제 한 걸음 더 들어가 보자. 많은 사람은 AI 이야기를 들으면 먼저 모델을 떠올린다. 더 큰 신경망, 더 많은 파라미터, 더 똑똑한 알고리즘 말이다. 실제로 언어모델의 세계에서는 이 직관이 꽤 잘 맞아떨어졌다. 좋은 모델에 엄청난 양의 텍스트를 먹이면 놀라운 성능이 나온다. 그래서 로봇도 비슷할 것처럼 느껴진다. 모델만 충분히 키우면, 언젠가는 집안일도 척척 해낼 것 같아 보인다.

하지만 로봇에서는 이 직관이 절반만 맞고, 절반은 결정적으로 틀린다. 로봇 AI의 가장 큰 병목은 종종 모델이 아니라 데이터다. 더 정확히 말하면, 현실 세계에서 몸을 움직이며 얻은 좋은 행동 데이터다. 로봇은 문장을 완성하는 기계가 아니다. 팔을 뻗고, 물체를 만지고, 실패하면 다시 잡고, 미끄러지면 힘을 바꾸는 기계다. 이런 능력은 텍스트 몇 억 줄로는 잘 생기지 않는다. 로봇에게 필요한 것은 세계에 대한 설명이 아니라, 세계와 부딪치며 축적된 경험이다.

LLM의 상식이 로봇에서는 바로 통하지 않는 이유

대규모 언어모델은 인터넷이라는 거대한 광산 위에서 자랐다. 뉴스 기사, 위키, 블로그, 게시판, 책, 코드, 자막처럼 이미 존재하는 텍스트가 엄청나게 많았기 때문이다. 누군가 일부러 "언어모델 학습용 대화 데이터"만 만들지 않아도, 인간 사회는 매일 엄청난 양의 언어를 쏟아낸다. 모델은 그 흐름을 빨아들여 패턴을 익힐 수 있었다.

로봇은 다르다. 인터넷 어딘가에 "젖은 접시를 미끄러뜨리지 않고 집어 선반에 넣는 팔과 손목의 궤적"이 자연스럽게 쌓여 있지는 않다. "왼손으로 봉지를 잡고 오른손으로 과자를 넣은 뒤, 봉지가 쓰러지지 않게 받치며 놓는 양손 데이터"도 인터넷에서 자동 생성되지 않는다. 누군가가 실제 로봇을 준비하고, 실제 공간을 세팅하고, 사람이 직접 조작하거나 시연해서 만들어야 한다.

여기서 중요한 차이가 드러난다. 텍스트 데이터는 인간의 생활 속에서 부산물처럼 대량 발생한다. 반면 로봇 행동 데이터는 의도적으로 생산해야 하는 고비용 데이터다. 이 차이 하나만으로도 로봇 학습은 언어모델과 전혀 다른 경제학을 갖게 된다.

언어모델은 대체로 "세상을 이미 기록한 데이터"를 읽는다. 로봇은 "세상과 상호작용하는 과정 자체"를 기록해야 한다. 전자는 수집의 문제라면, 후자는 수행의 문제다. 그래서 로봇 연구에서는 모델 논문만큼이나, 아니 때로는 그보다 더 많이 하드웨어와 원격조작 인터페이스가 중요해진다. 좋은 행동 데이터를 모으지 못하면, 아무리 세련된 모델이라도 배울 재료가 없다.

로봇 데이터는 왜 이렇게 비쌀까

로봇 데이터가 비싸다는 말을 들으면, 처음에는 단지 장비 가격 때문이라고 생각하기 쉽다. 물론 그것도 맞다. 로봇 팔, 그리퍼, 카메라, 컴퓨터, 프레임, 전원 장치, 안전 장치까지 갖추려면 기본 비용이 들어간다. 그러나 진짜 비용은 하드웨어 가격표보다 훨씬 넓은 곳에 숨어 있다.

첫째는 공간 비용이다. 로봇은 노트북 안에서만 살지 않는다. 실제 테이블이 필요하고, 물체를 놓을 작업 공간이 필요하며, 때로는 주방 비슷한 환경이나 수납장, 싱크대, 바닥 면적까지 필요하다. 언어모델의 데이터센터는 크지만, 텍스트 자체는 장소를 가리지 않는다. 반면 로봇 데이터는 공간의 제약을 강하게 받는다. 같은 작업도 어느 방에서 하느냐, 어떤 조명 아래서 하느냐, 물체를 어디에 두느냐에 따라 달라진다.

둘째는 시간 비용이다. 사람은 컵을 집는 장면을 설명하는 글을 몇 초 만에 쓸 수 있다. 하지만 로봇 행동 데이터는 컵을 실제로 집는 데 걸리는 시간이 그대로 필요하다. 더구나 한 번만 성공했다고 끝나지 않는다. 위치를 바꾸고, 물체를 바꾸고, 조명을 바꾸고, 실패 사례도 포함해 여러 번 반복해야 한다. 행동 데이터는 현실의 시간축을 벗어나기 어렵다. 배속으로 살아낼 수 없는 데이터인 셈이다.

셋째는 실패 비용이다. 로봇은 자주 실패한다. 물체를 놓치고, 부딪치고, 카메라를 가리고, 집다가 밀어버리고, 서랍을 반쯤만 닫고, 수건을 접으려다 더 엉키게 만들기도 한다. 실패는 학습에 도움이 되기도 하지만, 동시에 비용을 낳는다. 물체가 망가질 수 있고, 로봇 자체가 손상될 수 있으며, 다시 세팅하는 데 사람의 시간이 들어간다. 언어모델에서 틀린 다음 토큰 예측은 파일 몇 바이트의 문제지만, 로봇에서 틀린 한 동작은 깨진 컵과 휘어진 그리퍼의 문제가 될 수 있다.

넷째는 안전 비용이다. 로봇은 현실에서 힘을 가진 기계다. 속도를 너무 높이면 위험하고, 잘못된 위치로 움직이면 사람 손을 칠 수도 있다. 그리퍼가 예상보다 세게 닫히면 물체를 부수거나 끼임이 생길 수 있다. 그래서 데이터 수집 환경에는 감시, 제한, 정지 장치, 보수적인 튜닝이 필요하다. 안전은 성능과 별개의 장식이 아니라, 데이터 수집 속도 자체를 좌우하는 조건이다.

다섯째는 사람 비용이다. 로봇 데이터는 대개 숙련된 조작자나 실험 운영자가 필요하다. 카메라가 잘 보이는지 확인하고, 로봇을 초기 위치로 되돌리고, 실패 원인을 기록하고, 조작 품질을 유지해야 한다. 특히 양손 작업이나 접촉이 많은 작업은 아무나 몇 분 만에 좋은 시연을 만들기 어렵다. 조작이 어설프면 데이터도 어설퍼진다.

결국 로봇 행동 데이터의 단가는 단순히 "파일 하나 만드는 비용"이 아니다. 하드웨어, 공간, 시간, 실패, 안전, 인력을 모두 합친 비용이다. 그래서 로봇 연구에서는 "데이터를 더 모으자"는 말이 곧 "더 많은 실험 인프라를 갖추자"는 말과 거의 같은 뜻이 된다.

로봇 데이터는 왜 단순한 영상 모음이 아닌가

로봇 학습에 필요한 데이터는 카메라 영상만 있으면 될 것처럼 보일 때가 있다. 사람이 잘하는 모습을 많이 찍어서 보여 주면 되지 않느냐는 생각이다. 하지만 로봇이 정말로 배워야 하는 것은 단순한 장면의 변화가 아니라, 장면과 몸과 행동의 대응관계다.

예를 들어 로봇이 컵을 집는다고 해 보자. 카메라에는 컵이 테이블 오른쪽 앞에 놓여 있는 모습이 보인다. 그런데 그것만으로는 부족하다. 그 순간 로봇 팔이 어디쯤 와 있는지, 관절이 어떤 각도로 접혀 있는지, 손목이 얼마나 돌아가 있는지, 그리퍼가 얼마나 열려 있는지도 함께 알아야 한다. 그래야 "이 장면에서 이런 몸 상태일 때, 다음 행동으로 손목을 조금 낮추고 그리퍼를 닫아야 한다"는 연결이 생긴다.

즉 로봇 데이터는 보통 세 층이 함께 맞물린다. 하나는 관측이다. 카메라 영상, 때로는 여러 시점의 영상, 깊이 정보, 환경 정보가 여기에 들어간다. 둘째는 상태다. 관절 각도, 속도, 그리퍼 개폐 정도, 베이스 위치처럼 로봇 몸의 내부 상태가 포함된다. 셋째는 행동이다. 다음 순간 어떤 명령을 내렸는지, 팔 끝을 어디로 움직였는지, 각 관절을 얼마나 바꾸었는지가 기록된다.

이 셋은 시간축 위에서 정확히 정렬되어야 한다. 카메라 프레임은 지금을 보고 있는데 행동 라벨은 0.3초 뒤 상태에 붙어 있다면, 로봇은 잘못된 대응을 배운다. 사람이 보면 사소해 보여도, 로봇에게는 치명적이다. 손목을 돌려야 할 타이밍을 늦게 배우거나, 그리퍼를 닫을 때를 잘못 익히면 접촉 작업은 쉽게 망가진다.

로봇 데이터가 어려운 이유는 바로 여기에 있다. 이것은 "사진 + 정답" 문제가 아니다. 현실 세계의 흐름을 시간 동기화된 시퀀스로 붙들어야 하는 문제다. 그래서 좋은 로봇 데이터셋은 단순히 예쁜 영상이 많은 데이터셋이 아니다. 관측과 상태와 행동이 매끄럽게 맞물려 있고, 반복 가능한 형식으로 정리되어 있으며, 학습에 바로 쓸 수 있는 구조를 가진 데이터셋이다.

접촉이 많아질수록 시뮬레이션만으로는 부족해진다

그렇다면 이런 생각이 들 수 있다. 현실 데이터가 그렇게 비싸다면, 시뮬레이션에서 많이 만들면 되지 않을까. 실제로 시뮬레이션은 로봇 연구에서 매우 강력한 도구다. 안전하게 수천 번 반복할 수 있고, 초기 조건을 바꾸기 쉽고, 실패해도 부서지는 컵이 없다. 모델이 기본적인 운동 패턴을 익히고, 알고리즘을 빠르게 검증하는 데도 큰 도움이 된다.

문제는 현실 세계의 접촉이 시뮬레이션보다 훨씬 지저분하다는 점이다. 물체를 만지는 순간 세계는 생각보다 까다로워진다. 마찰은 일정하지 않고, 비닐은 구겨지며, 천은 늘어지고, 젖은 표면은 미끄럽고, 살짝 찌그러진 플라스틱 용기는 예상과 다른 반응을 보인다. 같은 컵이라도 표면 상태와 손의 접근 각도, 힘의 분포에 따라 결과가 달라진다.

시뮬레이션은 이런 세계를 근사한다. 하지만 근사는 어디까지나 근사다. 단단한 블록을 집는 일은 시뮬레이션에서 꽤 잘 다룰 수 있어도, 스펀지를 누르거나 수건을 잡아당기거나 팬을 헹구는 일은 훨씬 까다롭다. 특히 양손이 동시에 접촉하며 물체를 지지하고 비틀고 당기는 상황에서는 작은 오차가 크게 증폭된다. 현실에서는 "살짝 더 미는 감각", "미끄러지는 걸 느끼고 힘을 줄이는 감각"이 중요하지만, 이런 감각을 정확히 모델링하기는 쉽지 않다.

그래서 시뮬레이션은 중요하지만 만능은 아니다. 로봇이 현실의 접촉을 다루려면 결국 현실에서 나온 데이터가 필요하다. 특히 집안일처럼 예외가 많고, 물체가 다양하며, 표면 특성이 제각각인 환경에서는 더욱 그렇다. 로봇 학습에서 실세계 데이터가 귀한 이유는, 그것이 단순히 더 "진짜 같아서"가 아니다. 시뮬레이션이 놓치기 쉬운 미묘한 접촉의 결과를 그대로 담고 있기 때문이다.

쉽게 말해 시뮬레이션은 지도고, 현실 데이터는 현장 답사다. 지도만으로도 길을 어느 정도 찾을 수 있지만, 미끄러운 계단과 좁은 문턱, 손잡이의 감촉은 현장에 가 봐야 안다. 집안일 로봇이 필요한 것은 바로 그런 현장 경험이다.

데이터의 양만큼 중요한 것은 데이터의 질이다

데이터 병목이라고 하면 흔히 양의 문제만 떠올린다. 물론 양은 중요하다. 다양한 물체, 다양한 배치, 다양한 실패와 회복 사례를 많이 볼수록 모델은 더 넓은 상황에 대응하기 쉬워진다. 그러나 로봇에서는 양만큼이나 질이 중요하다. 어쩌면 더 중요할 때도 있다.

좋은 시연은 부드럽고 일관성이 있다. 필요 없는 흔들림이 적고, 목표를 향한 동작이 명확하며, 접촉 순간의 힘 조절이 안정적이다. 반대로 나쁜 시연은 겉으로는 성공했어도 쓸데없는 우회가 많고, 손이 덜덜 떨리고, 마지막에 억지로 밀어 넣는 식의 동작이 들어간다. 사람은 결과만 보고 넘어갈 수 있지만, 로봇은 그 과정 전체를 배운다. 그래서 "어쨌든 됐다"는 시연이 오히려 해가 될 수도 있다.

또한 좋은 데이터는 다양성과 일관성 사이의 균형을 잡는다. 모든 장면이 똑같으면 로봇은 외운다. 반대로 너무 제각각이면 무엇을 일반화해야 하는지 배우기 어렵다. 컵의 위치는 조금씩 달라져야 하지만, 핵심 기술은 일관되게 담겨야 한다. 수건의 모양은 달라져야 하지만, 두 손이 협력하는 전략은 분명해야 한다. 결국 좋은 데이터란 무작위로 많이 모은 데이터가 아니라, 학습이 일어나기 좋게 설계된 경험이다.

이 지점에서 다시 하드웨어와 인터페이스가 중요해진다. 조작 장치가 불편하면 시연 품질이 흔들린다. 지연이 크면 접촉 타이밍이 틀어진다. 그리퍼 마찰이 지나치게 크거나 작으면 세밀한 조작이 어렵다. 카메라가 자주 손이나 물체에 가려지면 관측 품질이 떨어진다. 즉 데이터 질의 문제는 곧 조작감의 문제다. 좋은 데이터를 모으는 일은 결국 사람이 로봇을 얼마나 자연스럽게 다룰 수 있는가와 연결된다.

좋은 데이터 수집 장치는 곧 연구 인프라다

이제 왜 ALOHA 같은 시스템이 중요한지 감이 오기 시작한다. 많은 사람은 로봇 하드웨어를 결과를 보여 주는 장치로 본다. 하지만 모방학습의 시대에는 하드웨어가 단지 데모용 몸체가 아니다. 그것은 데이터를 생산하는 기계, 다시 말해 연구 인프라다.

좋은 데이터 수집 장치가 갖춰야 할 조건은 생각보다 많다. 조작자가 오래 써도 덜 피곤해야 하고, 양손 동작을 자연스럽게 옮길 수 있어야 하며, 미세한 손목 움직임과 그리퍼 조작이 부드러워야 한다. 카메라는 필요한 장면을 잘 담아야 하고, 프레임은 안정적이어야 하며, 유지보수는 지나치게 어렵지 않아야 한다. 무엇보다 반복 실험이 가능해야 한다. 오늘 한 번 성공한 시스템이 아니라, 내일도 모레도 계속 데이터를 생산할 수 있는 시스템이어야 한다.

여기서 중요한 관점 전환이 일어난다. 로봇 연구실의 경쟁력은 더 좋은 논문 아이디어만으로 결정되지 않는다. 더 나은 행동 데이터를 안정적으로, 더 많이, 더 싸게 모을 수 있는가도 결정적이다. 이때 저비용 하드웨어는 단순히 예산 절감의 문제가 아니다. 실험 횟수를 늘리고, 더 많은 연구자와 스타트업이 참여하게 하며, 결국 데이터 생태계 전체를 넓히는 문제다.

비싼 장비 몇 대로는 세상이 천천히 바뀐다. 다룰 수 있는 사람도 적고, 실패를 감수하며 반복하기도 어렵다. 반면 비교적 접근 가능한 가격과 구조를 가진 데이터 수집 장치는 더 많은 손을 실험으로 끌어들인다. 로봇 AI에서 오픈소스 하드웨어가 중요한 이유도 여기에 있다. 몸을 여는 것은 곧 데이터 수집 능력을 여는 일이다.

모델 경쟁에서 데이터 경쟁으로

이쯤 되면 로봇 AI의 경쟁 구도가 조금 다르게 보인다. 겉으로는 모두가 더 좋은 모델을 이야기한다. 더 긴 시퀀스를 다루는 구조, 멀티모달 정보를 잘 결합하는 구조, 행동을 덩어리로 예측해 누적 오차를 줄이는 구조가 중요하다. 물론 이런 진전은 꼭 필요하다.

하지만 모델은 재료 위에서 자란다. 재료가 빈약하면 요리는 화려해져도 맛이 제한된다. 로봇에서는 특히 그렇다. 테이블 위 단순 픽앤플레이스 작업만 본 모델은 주방의 미끄러운 팬을 다루기 어렵다. 한 손 작업만 본 모델은 양손으로 지지하며 조작하는 상황에서 서툴다. 멈춰 있는 환경만 본 모델은 이동과 조작이 함께 얽힌 장면에서 흔들린다.

결국 로봇 성능을 끌어올리는 싸움은 "누가 더 영리한 구조를 짜느냐"와 동시에 "누가 더 좋은 행동 데이터를 모으느냐"의 싸움이 된다. 그리고 후자는 생각보다 훨씬 물리적이다. 손의 감각, 팔의 마찰, 카메라의 위치, 프레임의 안정성, 조작자의 피로도 같은 요소들이 데이터의 질을 바꾸고, 데이터의 질이 학습 성능을 바꾼다.

이 의미에서 로봇 AI는 소프트웨어 산업이면서 동시에 강한 하드웨어 산업이다. 더 정확히 말하면, 몸과 데이터와 학습이 하나로 얽힌 산업이다. LLM 시대의 직관만으로 로봇을 보면 자꾸 모델만 보이지만, 실제 병목은 종종 실험실 바닥 위에 놓여 있다. 어떤 팔을 쓰는가, 어떻게 조작하는가, 얼마나 안정적으로 시연을 쌓을 수 있는가가 성능을 결정한다.

우리가 앞으로 보게 될 핵심 전환

이 장의 요점을 한 문장으로 줄이면 이렇다. 로봇은 말보다 행동을 배워야 하고, 행동은 현실에서 비싸게 생산된다. 그래서 로봇 AI의 진짜 병목은 모델 크기만이 아니라, 좋은 행동 데이터를 수집하고 정리하는 능력에 있다.

이 사실을 받아들이면 이후의 흐름이 훨씬 선명해진다. 왜 양손 조작이 중요한지, 왜 원격조작이 단순한 조종이 아니라 학습의 입력장치인지, 왜 ALOHA가 연구 생태계에서 큰 의미를 가졌는지 자연스럽게 이해된다. ALOHA의 핵심은 멋진 로봇 팔 하나를 만든 데 있지 않다. 사람의 능숙한 손동작을 학습 가능한 데이터로 바꾸는 통로를 현실적인 비용으로 넓혔다는 데 있다.

그리고 이것이 바로 앞으로 이 책이 따라갈 길이다. 우리는 이제 데이터 병목을 전제로 삼고, 그다음 질문으로 넘어갈 것이다. 그렇다면 어떤 행동이 특히 배우기 어려운가. 왜 한 손보다 양손이 훨씬 까다로운가. 인간은 아무렇지 않게 하는 협응을, 로봇은 왜 그렇게 힘들어하는가.

다음 장에서는 그 질문의 중심으로 들어간다. 로봇이 세상을 만지는 일, 특히 두 손으로 만지는 일이 왜 범용 로봇의 핵심이면서도 가장 어려운 난제인지 살펴보자.