피지컬 AI를 학습시키는 방법

피지컬 AI는 처음부터 능숙하게 움직이지 않는다. 카메라로 사람을 알아보고, 로봇 팔로 물체를 집고, 이동 로봇이 복도를 지나가는 능력은 대부분 데이터와 반복 경험을 통해 만들어진다.

여기서 학습은 단순히 많은 정보를 외우는 일이 아니다. 현실을 더 잘 감지하고, 상황을 더 정확히 판단하며, 행동의 결과를 보고 다음 행동을 고치는 과정이다. 즉, 앞에서 계속 다룬 감지한다–판단한다–행동한다–피드백을 받는다의 순환을 더 나아지게 만드는 일이다.

피지컬 AI의 학습 방식은 하나로 끝나지 않는다. 물체를 알아보는 데는 지도학습이 자주 쓰이고, 걷거나 균형 잡는 행동에는 강화학습이 쓰인다. 사람이 직접 보여준 작업을 따라 배우는 모방학습도 중요하다. 그리고 현실에서 무작정 실험하기 어렵기 때문에 시뮬레이션 데이터와 실제 데이터를 함께 사용한다.

AI 생성 이미지

지각을 배우는 지도학습

지도학습은 정답이 붙은 데이터로 AI를 훈련하는 방식이다. 여기서 정답은 사람이 미리 표시한 답이다. 예를 들어 이미지 속 상자에는 "상자", 작업자에게는 "사람", 불량 부품에는 "결함"이라는 이름표를 붙인다. AI는 많은 예시를 보며 입력과 정답 사이의 관계를 배운다.

공장 카메라가 제품 표면의 흠집을 찾는 장면을 생각해 보자. 처음에는 카메라 이미지가 그저 픽셀의 모음일 뿐이다. 하지만 정상 제품 사진과 불량 제품 사진을 많이 보여주면 AI는 작은 균열, 색 차이, 찌그러짐 같은 패턴을 구분하기 시작한다. 이렇게 훈련된 모델은 새 제품이 지나갈 때 "정상일 가능성"과 "불량일 가능성"을 계산한다.

자율주행차의 사람 감지, 물류 로봇의 팔레트 인식, 병원 로봇의 문과 엘리베이터 버튼 인식도 비슷한 방식으로 학습할 수 있다. 센서가 현실을 감지하면, 지도학습 모델은 그 데이터 안에서 중요한 대상을 찾아낸다. 이는 피지컬 AI의 첫 단계인 감지와 이해를 튼튼하게 만든다.

다만 지도학습에는 분명한 한계가 있다. 정답 데이터가 충분히 다양하지 않으면 AI는 낯선 상황에 약해진다. 낮에 찍은 데이터만으로 훈련한 이동 로봇은 어두운 창고에서 사람을 잘못 인식할 수 있다. 깨끗한 부품 사진만 많이 본 검사 AI는 먼지와 실제 결함을 헷갈릴 수 있다. 그래서 피지컬 AI의 지도학습 데이터는 조명, 각도, 거리, 배경, 계절, 장비 상태처럼 현실의 변화를 포함해야 한다.

지도학습은 "무엇이 보이는가"를 배우는 데 강하다. 그러나 "이제 어떻게 움직일 것인가"를 배우려면 다른 방식이 필요하다.

행동을 배우는 강화학습

강화학습은 AI가 행동을 해 보고, 그 결과에 따라 보상을 받으며 더 나은 행동을 찾는 방식이다. 여기서 보상은 잘한 행동에 주는 점수라고 생각하면 된다. 넘어지지 않고 걸으면 높은 점수, 물체를 떨어뜨리면 낮은 점수, 장애물에 부딪히면 큰 벌점이 주어진다.

강화학습에서 AI가 배우는 것은 보통 정책이다. 정책은 "이 상태에서 어떤 행동을 할 것인가"를 정하는 규칙이다. 예를 들어 네 발 로봇이 왼쪽으로 기울어진 상태라면 어느 다리에 힘을 더 줄지, 로봇 팔이 컵을 잡기 직전이라면 손가락을 얼마나 닫을지를 정한다.

이 방식은 걷기, 잡기, 균형 잡기처럼 정답을 하나로 쓰기 어려운 행동에 유용하다. 로봇에게 "잘 걸어라"라는 정답 이미지를 주는 것만으로는 부족하다. 실제 걷기는 매 순간의 관절 각도, 바닥 마찰, 무게중심, 작은 흔들림이 모두 연결된 문제다. 로봇은 한 발을 내딛고, 중심이 흔들리면 조정하고, 넘어질 것 같으면 다른 다리로 버티는 과정을 반복해야 한다.

물체 잡기도 마찬가지다. 같은 컵이라도 위치, 손잡이 방향, 표면 재질, 무게가 다르다. 로봇 팔은 접근 각도와 손가락 힘을 조절해야 한다. 너무 약하게 잡으면 미끄러지고, 너무 강하게 잡으면 물체가 깨질 수 있다. 강화학습은 이런 시행착오를 통해 "어떤 상태에서 어떤 힘과 움직임이 좋은 결과를 만드는지"를 찾아간다.

하지만 현실에서 강화학습을 그대로 수행하는 것은 위험하고 비싸다. 로봇이 수천 번 넘어지면 장비가 망가질 수 있다. 자율주행차가 충돌을 통해 배우는 방식은 허용될 수 없다. 공장 로봇이 사람 가까이에서 시행착오를 반복하는 것도 위험하다. 그래서 강화학습은 안전장치와 제한된 환경, 또는 시뮬레이션과 함께 사용되는 경우가 많다.

강화학습은 피지컬 AI가 행동의 결과를 통해 배우게 해 준다. 정답을 외우는 것이 아니라, 행동하고 피드백을 받으며 더 나은 선택을 찾는 방식이다.

사람의 시연에서 배우는 모방학습

모든 행동을 처음부터 시행착오로 배우게 하면 시간이 오래 걸린다. 그래서 피지컬 AI는 사람이나 숙련된 시스템의 시연을 이용하기도 한다. 이를 모방학습이라고 한다. 말 그대로 잘하는 행동을 보고 따라 배우는 방식이다.

예를 들어 작업자가 로봇 팔을 원격 조종해 부품을 집고 조립 위치에 놓는 과정을 여러 번 보여준다고 하자. 이때 데이터에는 "그 순간 카메라와 센서가 본 상태"와 "사람이 선택한 행동"이 함께 기록된다. NVIDIA Isaac Lab은 모방학습을 환경 상태와 전문가 행동의 쌍으로 배우는 방식으로 설명한다.¹ 쉽게 말해, "이런 장면에서는 이렇게 움직였다"라는 예시를 쌓는 것이다.

모방학습의 대표적인 방법 중 하나는 행동 복제다. 행동 복제는 시연 데이터를 지도학습처럼 사용해 정책을 직접 배우는 방법이다. MIT의 로봇공학 강의 자료도 행동 복제를 시연 데이터에서 정책을 직접 학습하는 방식으로 구분한다.² 이미지 분류에서 사진과 정답 라벨을 연결하듯, 모방학습에서는 관찰된 상태와 전문가의 행동을 연결한다.

이 방식은 학습 시간을 크게 줄일 수 있다. 로봇이 처음부터 무작위로 움직이며 좋은 행동을 찾는 대신, 사람의 시연을 출발점으로 삼기 때문이다. 창고 로봇이 상자를 집는 법, 병원 로봇이 엘리베이터 버튼을 누르는 법, 조립 로봇이 부품을 끼우는 법은 말로 규칙을 모두 작성하기 어렵다. 그러나 사람이 몇 차례 보여주면 로봇은 작업의 흐름을 빠르게 파악할 수 있다.

물론 모방학습도 완벽하지 않다. 사람의 시연과 조금 다른 상황이 나오면 로봇이 흔들릴 수 있다. 예를 들어 시연에서는 컵이 항상 테이블 중앙에 있었는데, 실제로는 컵이 가장자리에 놓일 수 있다. 로봇이 작은 오차를 만들고, 그 오차가 다음 행동에서 더 커지는 일도 생긴다. 그래서 모방학습은 강화학습, 규칙 기반 안전 제어, 실제 운영 데이터와 함께 보완되는 경우가 많다.

모방학습의 핵심은 단순한 흉내가 아니다. 사람의 경험을 데이터로 바꾸어 로봇의 초기 행동 능력을 빠르게 만드는 것이다.

왜 시뮬레이션 데이터와 실제 데이터를 함께 쓰는가

피지컬 AI의 가장 큰 어려움은 데이터 수집이 현실 공간에서 일어난다는 점이다. 문서 AI는 인터넷 문서나 파일을 모아 학습할 수 있다. 이미지 AI도 사진 데이터를 대량으로 모을 수 있다. 하지만 로봇 행동 데이터는 다르다. 로봇을 움직여야 하고, 공간을 준비해야 하며, 실패하면 장비와 사람이 위험해질 수 있다.

그래서 시뮬레이션이 중요해진다. 시뮬레이션은 현실과 비슷한 가상 환경을 만들어 그 안에서 로봇을 훈련하거나 시험하는 방법이다. 가상 창고에서 물류 로봇을 움직이고, 가상 공장에서 로봇 팔이 부품을 잡게 하며, 가상 도로에서 자율주행차가 다양한 상황을 경험하게 할 수 있다.

시뮬레이션의 장점은 반복 비용이 낮다는 것이다. 로봇이 넘어져도 실제 장비가 부서지지 않는다. 위험한 상황도 재현할 수 있다. 비 오는 밤, 갑자기 나타난 장애물, 미끄러운 바닥, 센서 잡음 같은 조건을 의도적으로 만들 수 있다. 실제 현장에서 드물게 일어나는 사건도 가상 환경에서는 여러 번 반복할 수 있다.

하지만 시뮬레이션만으로는 부족하다. 가상 세계와 현실 세계는 완전히 같지 않다. 바닥의 마찰, 모터의 지연, 카메라 노이즈, 물체의 미세한 변형은 시뮬레이션에서 정확히 재현하기 어렵다. 이 차이를 흔히 현실 간극이라고 부른다. 시뮬레이션에서 잘 걷던 로봇이 실제 바닥에서는 미끄러질 수 있고, 가상 조명에서 잘 보이던 물체가 실제 창고 조명에서는 잘 보이지 않을 수 있다.

따라서 좋은 피지컬 AI 학습은 보통 시뮬레이션 데이터와 실제 데이터를 함께 쓴다. 먼저 시뮬레이션에서 많은 시행착오를 겪게 하고, 그다음 실제 환경에서 적은 양의 데이터로 조정한다. 이를 미세조정이라고 한다. 이미 배운 모델을 새로운 환경에 맞게 조금 더 훈련하는 과정이다.

실제 시스템 개발도 한 번의 학습으로 끝나지 않는다. 데이터를 모으고, 모델을 학습시키고, 현장 장비에 배포한 뒤, 운영 중 생긴 데이터를 다시 학습에 반영하는 반복 과정으로 이어진다. AWS는 피지컬 AI 개발 흐름을 데이터 수집, 모델 학습과 조정, 현장 배포, 지속적인 피드백 루프로 설명한다.³ 이는 피지컬 AI가 고정된 제품이라기보다 계속 조정되는 시스템에 가깝다는 뜻이다.

학습의 목표는 더 안전한 순환이다

피지컬 AI를 학습시킨다는 말은 하나의 거대한 모델을 만드는 뜻이 아니다. 카메라는 더 정확히 보게 하고, 판단 시스템은 더 적절한 선택을 하게 하며, 제어기는 더 안정적으로 움직이게 하는 전체 과정을 뜻한다.

지도학습은 현실을 알아보는 눈을 만든다. 강화학습은 행동의 결과를 통해 더 나은 움직임을 찾게 한다. 모방학습은 사람의 경험을 출발점으로 삼아 학습 시간을 줄인다. 시뮬레이션은 위험하고 비싼 시행착오를 가상 공간에서 먼저 겪게 해 준다. 실제 데이터는 그 배움이 현실에서도 통하는지 확인하고 고친다.

결국 피지컬 AI의 학습은 정답 데이터만으로 완성되지 않는다. 현실에서 행동하는 AI는 정답, 시행착오, 사람의 시연, 운영 중 피드백을 함께 사용한다. 그리고 그 모든 학습의 목적은 하나다. 더 정확히 감지하고, 더 신중히 판단하고, 더 안전하게 행동하며, 결과를 보고 다시 좋아지는 순환을 만드는 것이다.

다음 장에서는 이 순환을 현실보다 안전하고 빠르게 실험하게 해 주는 시뮬레이션과 디지털 트윈을 더 자세히 살펴본다.

참고

¹NVIDIA Isaac Lab, Imitation Learning

²MIT Underactuated, Imitation Learning

³AWS, Physical AI in practice: Technical foundations that fuel human-machine interactions