시뮬레이션은 로봇 학습의 가속기다
로봇 학습에서 시뮬레이션에서 현실로의 전이(Sim-to-Real Transfer)란 가상 환경에서 학습하거나 검증한 정책을 실제 로봇에 옮겨 작동시키는 과정을 말한다. 여기서 정책은 로봇이 관측을 보고 다음 행동을 정하는 규칙 또는 모델이다. VLA에서는 카메라 이미지, 언어 지시, 로봇 상태를 입력받아 행동을 출력하는 부분이 정책에 해당한다.
시뮬레이션이 중요한 이유는 단순하다. 현실의 로봇은 느리고 비싸며 위험하다. 로봇 팔이 컵을 천 번 떨어뜨리면 컵과 그리퍼가 망가지고, 주변 작업자가 위험해질 수 있다. 반면 시뮬레이터에서는 실패한 장면을 즉시 초기화할 수 있다. 로봇이 물체를 밀어 떨어뜨려도 버튼 하나로 다시 시작한다. 같은 작업을 수백 개의 가상 환경에서 병렬로 실행할 수도 있다.
이 장점은 강화학습이나 대규모 VLA 학습에서 특히 크다. 로봇이 "노란 블록을 상자에 넣어라"라는 지시를 받았을 때, 물체 위치, 조명, 카메라 각도, 그리퍼 접근 방향을 바꿔가며 수많은 시도를 만들 수 있다. 실제 현장에서라면 며칠이 걸릴 실험을 가상 환경에서는 훨씬 빠르게 반복한다. 위험한 행동도 먼저 확인할 수 있다. 예를 들어 로봇이 사람 가까이에서 팔을 회전하는 경우, 충돌 가능성이 있는 궤적을 현실 배치 전에 걸러낼 수 있다.
하지만 시뮬레이션은 현실이 아니다. 시뮬레이터는 현실을 계산 가능한 형태로 줄여 만든 모델이다. 카메라 영상은 실제 렌즈와 센서 노이즈를 완벽히 담지 못하고, 물체 표면의 미세한 마찰도 정확히 맞추기 어렵다. 모터 지연, 케이블 장력, 그리퍼 고무의 마모 같은 요소는 더 복잡하다. 그래서 Sim-to-Real의 핵심 질문은 "가상에서 잘한 로봇이 왜 현실에서는 실패하는가"가 아니라, "현실과 다른 가상 환경에서 배운 능력을 어떻게 현실에서도 쓸 수 있게 만들 것인가"다.
AI 생성 이미지
도메인 랜덤화: 하나의 현실을 맞히기보다 많은 현실을 견디게 하기
Sim-to-Real에서 널리 쓰이는 방법이 도메인 랜덤화(Domain Randomization)다. 이는 시뮬레이션의 조건을 일부러 계속 바꾸며 학습시키는 방법이다. 조명 밝기, 그림자, 바닥 색, 물체 질감, 카메라 위치, 물체 초기 위치, 질량, 마찰, 센서 노이즈 등을 무작위로 바꾼다.
직관은 간단하다. 시험 문제 하나의 정답을 외우게 하지 않고, 비슷하지만 조금씩 다른 문제를 많이 풀게 하는 것이다. 로봇이 항상 같은 파란 컵, 같은 조명, 같은 테이블에서만 학습하면 실제 현장의 컵 색이나 조명이 바뀌었을 때 흔들린다. 반대로 컵 색, 반사, 배경, 위치가 계속 바뀌는 환경에서 학습하면, 로봇은 작업에 덜 중요한 차이를 무시하고 중요한 구조를 찾도록 압박받는다. "컵은 빨간색일 수도 있고 파란색일 수도 있지만, 집어야 할 물체의 손잡이와 몸체는 어디에 있는가"에 더 집중하게 된다.
VLA에서는 도메인 랜덤화가 시각만의 문제가 아니다. 언어 지시도 다양화할 수 있다. "컵을 집어라", "머그잔을 들어 올려라", "오른쪽 컵을 상자에 넣어라"처럼 표현을 바꾸면, 모델은 문장 표면보다 목표 행동을 더 안정적으로 연결한다. 행동 쪽에서도 접근 속도, 그리퍼 닫힘 타이밍, 허용 오차를 바꾸며 학습할 수 있다.
다만 도메인 랜덤화는 만능이 아니다. 너무 좁게 랜덤화하면 실제 차이를 견디지 못한다. 너무 넓게 랜덤화하면 학습 문제가 지나치게 어려워져 로봇이 무엇이 중요한지 배우지 못할 수 있다. 마찰을 0에 가까운 값부터 지나치게 큰 값까지 무작위로 주면, 로봇은 일관된 밀기 전략을 세우기 어렵다. 좋은 랜덤화는 현실에서 실제로 달라질 수 있는 범위를 알고, 작업 성공에 중요한 요소를 중심으로 설계해야 한다.
물리 엔진은 접촉의 모든 것을 알지 못한다
시뮬레이터 안에서 물체는 물리 엔진(Physics Engine)이 계산한 법칙에 따라 움직인다. 중력, 충돌, 마찰, 관절 운동 등을 수치적으로 계산하는 프로그램이다. 단단한 상자를 옮기거나 로봇 팔의 기본 궤적을 검증하는 데는 매우 유용하다. 그러나 로봇 조작에서 가장 어려운 부분은 대개 접촉이다.
예를 들어 로봇이 블록을 밀 때를 생각해보자. 블록이 정확히 어디로 움직일지는 바닥 마찰, 블록의 무게중심, 표면의 미세한 요철, 로봇 손끝의 재질에 따라 달라진다. 시뮬레이터에서는 마찰 계수를 하나의 숫자로 넣지만, 실제 표면은 위치마다 다르고 시간에 따라 변한다. 그 결과 가상에서는 곧게 밀리던 물체가 현실에서는 살짝 회전하거나, 생각보다 빨리 미끄러지거나, 아예 움직이지 않을 수 있다.
변형 물체는 더 어렵다. 천, 케이블, 비닐봉지, 스펀지처럼 모양이 바뀌는 물체는 상태를 간단한 좌표 몇 개로 표현하기 어렵다. 로봇이 수건의 한쪽 모서리를 잡아 들어 올리면, 중력과 접힘, 마찰이 동시에 작용한다. 시뮬레이터가 모든 섬유의 변형을 정확히 계산하기에는 비용이 너무 크다. 그래서 계산을 단순화하는데, 바로 그 단순화가 현실 전이 실패의 원인이 된다.
그리퍼 접촉도 마찬가지다. 실제 그리퍼 패드는 조금 눌리고, 미끄러지며, 시간이 지나면 마모된다. 카메라는 빛 반사 때문에 물체 경계를 잘못 볼 수 있고, 힘 센서는 작은 진동을 포함한다. VLA가 장면을 잘 이해했더라도, 이런 물리적 오차를 견디지 못하면 행동은 실패한다. "검은 손잡이를 잡아라"라는 의미 이해는 맞았지만, 실제 손끝이 손잡이에서 3밀리미터 벗어나 미끄러지면 작업은 끝난다.
최근 연구들은 이런 문제를 줄이기 위해 시각·언어 모델이 추정한 물체 특성과 실제 접촉 중 얻은 피드백을 함께 사용한다. 예를 들어 물체의 무게중심이나 질량 분포를 처음에는 이미지와 언어 지식으로 추정하고, 로봇이 밀거나 잡는 동안 관측된 움직임으로 그 추정을 계속 수정하는 방식이다. 접촉이 많은 조작에서는 처음부터 완벽한 시뮬레이션을 만드는 것보다, 실행 중 현실의 물리 파라미터를 업데이트하는 접근이 더 실용적일 수 있다1.
디지털 트윈은 가상과 현실을 왕복하게 만든다
디지털 트윈(Digital Twin)은 실제 로봇, 작업장, 물체, 센서 상태를 가상 공간에 대응시킨 모델이다. 단순한 3D 그림이 아니라, 실제 환경과 연결되어 계속 갱신되는 시뮬레이션 복제본에 가깝다. Physical AI에서 디지털 트윈은 Sim-to-Real을 한 방향 전송이 아니라 왕복 루프로 만든다.
이 왕복에는 두 방향이 있다. 첫째는 Sim-to-Real이다. 가상 환경에서 정책을 학습하고, 안전성이나 성공률을 평가한 뒤 실제 로봇에 배포한다. 둘째는 현실에서 시뮬레이션으로의 전환(Real-to-Sim)이다. 실제 현장의 카메라, 라이다, 깊이 센서, 로봇 로그를 이용해 시뮬레이션 환경을 갱신한다. 작업대의 높이, 선반 위치, 조명, 장애물 배치, 물체 종류를 실제와 더 가깝게 반영한다.
예를 들어 물류 창고 로봇을 생각해보자. 처음에는 시뮬레이터에서 다양한 상자 배치를 만들어 집기 정책을 학습한다. 배포 후에는 실제 로봇이 실패한 장면을 기록한다. 특정 재질의 비닐 포장 상자를 자주 놓친다면, 그 물체의 반사, 변형, 마찰 특성을 디지털 트윈에 추가한다. 이후 시뮬레이터에서 비슷한 실패 상황을 대량으로 재생성하고, 정책을 다시 학습하거나 평가한다. 이렇게 하면 현실 실패가 다음 시뮬레이션 개선의 재료가 된다.
원격 조작 데이터와 디지털 트윈을 함께 쓰는 방법도 중요하다. 사람이 실제 로봇을 조작해 시연하면, 같은 움직임을 가상 로봇에도 동시에 기록할 수 있다. 그 뒤 가상 환경에서 물체 위치나 조명을 바꿔 유사 데이터를 확장한다. 실제 시연의 품질과 시뮬레이션의 규모를 결합하는 방식이다. 이런 real-to-sim과 sim-to-real의 순환은 Physical AI 시스템이 실제 데이터만으로는 부족하고, 순수 합성 데이터만으로도 부족하다는 점을 보여준다2.
시뮬레이션 평가는 현장 배치를 대체하지 못한다
시뮬레이션 기반 평가는 필요하다. 새로운 VLA 정책을 실제 로봇에 바로 올리는 것은 위험하다. 먼저 가상 환경에서 충돌률, 작업 성공률, 지시 이해 실패, 이상 행동, 복구 능력을 확인해야 한다. 다양한 조명과 물체 위치에서 같은 지시를 수행하는지, 실패 후 다시 시도하는지, 사람이나 장애물 근처에서 멈추는지도 검사할 수 있다.
그러나 시뮬레이션 평가는 현장 배치를 완전히 대체하지 못한다. 이유는 세 가지다.
첫째, 현실의 긴 꼬리 상황을 모두 만들 수 없다. 현장에는 시뮬레이터 설계자가 생각하지 못한 경우가 나온다. 테이프가 바닥에 붙어 바퀴에 감기거나, 사람이 물체를 반쯤 걸쳐 놓거나, 조명이 순간적으로 깜박일 수 있다. 이런 사건은 드물지만 로봇 운영에서는 중요하다.
둘째, 하드웨어는 시간이 지나며 변한다. 모터는 열을 받고, 그리퍼 패드는 닳고, 카메라 렌즈에는 먼지가 묻는다. 시뮬레이터에서 같은 성능을 보인 정책도 실제 로봇의 노후 상태에 따라 다르게 행동한다. Physical AI는 모델만 평가해서는 안 되고, 센서와 구동기, 제어기, 안전 장치가 결합된 전체 시스템을 평가해야 한다.
셋째, 사람과 함께 있는 환경은 수치화하기 어렵다. 작업 성공률이 높아도 로봇 움직임이 예측하기 어렵거나 갑작스럽다면 사람은 불안해한다. 반대로 조금 느리더라도 멈춤과 재시도가 안정적이면 더 신뢰할 수 있다. 이런 신뢰성은 시뮬레이터의 점수만으로 판단하기 어렵다.
따라서 현실적인 배포 절차는 단계적이어야 한다. 먼저 시뮬레이션에서 대량 평가를 한다. 그다음 제한된 실제 환경에서 느린 속도와 강한 안전 제약을 둔 채 테스트한다. 이후 실패 사례를 수집해 디지털 트윈과 학습 데이터에 반영한다. 마지막으로 운영 범위를 조금씩 넓힌다. 좋은 Sim-to-Real 전략은 "가상에서 완벽히 만든 뒤 현실에 한 번에 내보내는 것"이 아니다. 가상과 현실을 반복해서 오가며, 모델이 모르는 차이를 계속 줄이는 과정이다.
현실로 가는 길은 간극을 인정하는 데서 시작한다
시뮬레이션은 로봇 학습의 강력한 가속기다. 많은 실험을 빠르게 만들고, 위험한 행동을 먼저 검증하며, 부족한 데이터를 보완한다. 도메인 랜덤화는 로봇이 조명, 질감, 위치, 마찰의 차이를 견디게 만든다. 디지털 트윈은 실제 현장의 피드백을 가상 세계로 되돌려 전이 성능을 높인다.
하지만 현실은 언제나 더 복잡하다. 접촉은 불확실하고, 센서는 완벽하지 않으며, 하드웨어는 변한다. 시뮬레이터가 모든 현실을 복제할 수 있다고 믿으면 위험하다. 반대로 시뮬레이션을 단순한 장난감으로 보면 로봇 학습의 확장성을 놓친다.
VLA와 Physical AI의 다음 단계는 이 둘 사이의 균형에 있다. 가상 환경에서 많이 배우되, 현실 피드백으로 계속 고친다. 큰 모델의 추론 능력을 사용하되, 접촉과 안전은 센서와 제어 루프에서 확인한다. 시뮬레이션은 목적지가 아니라 출발점이다. 실제 로봇 성능은 그 출발점을 현실의 데이터, 검증, 안전 구조와 얼마나 잘 연결하느냐에 달려 있다.
참고
2Sim-to-Real and Real-to-Sim: The Engine Behind Capable Physical AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.