로봇과 인공지능

AI는 로봇의 어디에 들어가는가

로봇 청소기가 거실을 돌아다닌다고 생각해 보자. 앞에 소파 다리가 있다. 옆에는 충전 케이블이 늘어져 있고, 바닥에는 양말이 떨어져 있다. 예전의 로봇이라면 이 모든 것을 단순한 장애물로 보았을지 모른다. 가까이 가면 피하고, 부딪히면 방향을 바꾸고, 일정한 패턴으로 방을 훑는다.

하지만 조금 더 똑똑한 로봇은 다르게 행동한다. 소파 다리는 피해야 할 고정 장애물로 보고, 충전 케이블은 빨려 들어가면 안 되는 위험 물체로 인식하며, 양말은 청소 대상이 아니라 치워야 할 물건으로 분류한다. 사람이 지나가면 잠시 멈추고, 반려동물이 가까이 오면 속도를 줄인다. 같은 센서 데이터를 받아도 로봇이 세상을 이해하는 방식이 달라진 것이다.

여기서 인공지능이 등장한다. AI는 로봇에게 갑자기 인간 같은 의식을 부여하는 마법이 아니다. 로봇 안에서 AI는 훨씬 구체적인 일을 한다. 카메라 이미지를 물체와 사람의 위치로 바꾸고, 시행착오를 통해 더 나은 움직임을 찾고, 사람이 보여 준 행동을 따라 하며, 언어 명령과 시각 정보를 행동으로 연결한다.

앞 장에서 우리는 로봇이 행동을 계획하는 방법을 살펴보았다. 상태 기계는 정해진 조건에 따라 행동을 바꾸고, 행동 트리는 복잡한 작업을 안정적으로 나누며, 작업 순서 계획은 여러 목표 사이의 순서를 정한다. 이번 장에서는 그 위에 AI가 어떻게 결합되는지 살펴본다. 핵심은 간단하다. 로봇공학에서 AI는 유행어가 아니라, 로봇의 감지, 판단, 행동을 확장하는 도구다.

로봇 시스템에서 AI가 주로 들어가는 위치는 세 곳이다.

• 인지: 센서 데이터를 물체, 사람, 공간, 의미 정보로 해석한다.

• 판단: 현재 상황에서 어떤 행동이 적절한지 선택하거나 계획을 돕는다.

• 학습: 사람이 일일이 규칙을 쓰지 않아도 경험과 데이터로 행동 방식을 개선한다.

이 세 가지가 연결되면 로봇은 단순히 "앞이 막혔다"를 넘어서 "앞에 사람이 서 있으니 기다려야 한다", "컵 손잡이는 오른쪽에 있으니 이쪽에서 잡아야 한다", "이 바닥은 미끄러우니 보폭을 줄여야 한다"와 같은 더 풍부한 판단을 할 수 있다.

컴퓨터 비전: 픽셀을 의미로 바꾸는 기술

로봇에게 카메라는 눈처럼 보이지만, 실제로 카메라가 보내는 것은 세상을 이해한 문장이 아니다. 카메라가 보내는 것은 수많은 숫자다. 각 픽셀은 밝기와 색상 값을 가지고 있고, 이미지는 그 숫자들이 격자처럼 배열된 데이터다. 사람은 사진을 보자마자 "책상 위에 빨간 컵이 있네"라고 말할 수 있지만, 로봇에게 처음 들어오는 것은 그저 숫자의 바다다.

컴퓨터 비전은 이 숫자의 바다에서 의미 있는 정보를 꺼내는 기술이다. 로봇 인지에서 말하는 perception, 즉 지각은 센서 정보를 획득하고 해석해 로봇이 주변 환경과 상호작용할 수 있게 만드는 과정으로 설명된다.¹ 카메라 기반 로봇에서는 이 지각 과정의 중요한 부분을 컴퓨터 비전이 맡는다.

컴퓨터 비전이 로봇에게 제공하는 정보는 여러 층으로 나뉜다.

• 분류는 이미지 안에 무엇이 있는지 이름을 붙인다. 예를 들어 "컵", "사람", "상자"라고 판단한다.

• 물체 검출은 물체의 종류와 대략적인 위치를 함께 찾는다. 보통 이미지 위에 사각형 박스로 표시된다.

• 분할은 어떤 픽셀이 어떤 물체에 속하는지 더 촘촘하게 나눈다. 컵의 윤곽, 바닥 영역, 사람의 몸 영역을 구분할 수 있다.

• 자세 추정은 물체나 사람의 방향과 위치를 더 자세히 추정한다. 로봇팔이 물체를 집으려면 물체가 있다는 사실뿐 아니라 어느 방향으로 놓였는지도 중요하다.

• 추적은 시간이 지나도 같은 물체를 계속 따라간다. 사람이 걸어가거나 상자가 컨베이어 벨트 위에서 움직일 때 필요하다.

예를 들어 창고 로봇이 선반에서 물건을 꺼내야 한다고 해 보자. "파란 상자를 가져와"라는 명령을 수행하려면 먼저 카메라 이미지에서 파란 상자를 찾아야 한다. 단순히 파란색 영역을 찾는 것만으로는 부족하다. 조명에 따라 색은 달라지고, 상자 일부가 가려질 수 있으며, 비슷한 색의 다른 물체가 있을 수도 있다.

컴퓨터 비전 모델은 이미지 속 패턴을 학습해 상자의 경계와 종류를 추정한다. 그다음 로봇은 상자가 이미지의 어디에 있는지, 실제 공간에서는 어느 위치에 있는지, 로봇팔이 어느 방향에서 접근해야 하는지를 계산한다. 그래서 비전은 단순한 "보기"가 아니라, 행동을 위한 보기다.

ROS 2 기반 로봇 인지 교육에서도 이미지, 레이저 스캔, 포인트 클라우드 같은 센서 데이터를 처리하고, OpenCV, PCL, YOLO 같은 도구를 이용해 물체 감지, 자세 추정, 분할을 수행하는 흐름이 중요하게 다루어진다.² 여기서 중요한 점은 비전 모델 하나가 로봇 전체를 대신하지 않는다는 것이다. 비전 모델은 "무엇이 어디에 있는지"에 대한 단서를 제공하고, 그 단서를 좌표계, 지도, 경로 계획, 제어와 연결해야 실제 로봇 행동이 된다.

로봇에게는 이름보다 위치가 더 중요하다

사람에게 "컵이 있다"는 말은 꽤 많은 정보를 준다. 우리는 컵이 보이면 대략 어떻게 잡아야 하는지, 깨질 수 있는지, 안에 액체가 있을 수 있는지 짐작한다. 하지만 로봇에게 "컵"이라는 이름만으로는 충분하지 않다. 로봇이 실제로 움직이려면 더 구체적인 정보가 필요하다.

컵을 집는 로봇팔을 생각해 보자. 로봇은 최소한 다음을 알아야 한다. 컵이 로봇 기준으로 어디에 있는가. 컵의 높이는 어느 정도인가. 손잡이는 어느 방향인가. 주변에 부딪힐 물체는 없는가. 그리퍼를 어느 만큼 벌려야 하는가. 집은 뒤에는 어떤 경로로 들어 올려야 하는가.

그래서 로봇 비전은 보통 세 단계를 거친다. 먼저 이미지에서 물체를 찾는다. 다음으로 그 물체를 로봇이 쓰는 좌표계 안의 위치로 바꾼다. 마지막으로 그 위치 정보를 계획과 제어 모듈에 넘긴다. 앞에서 배운 좌표계가 여기서 다시 등장한다. 카메라 이미지의 왼쪽 위 픽셀 좌표는 로봇팔의 베이스 좌표와 다르다. 픽셀 좌표를 실제 공간의 점으로 바꾸려면 카메라의 내부 특성, 깊이 정보, 카메라와 로봇 사이의 좌표 변환이 필요하다.

이 과정이 잘 연결되면 로봇은 이미지 속 사각형 하나를 실제 행동으로 바꿀 수 있다. 화면에서는 "컵"이라는 라벨과 박스였던 정보가, 로봇 내부에서는 "베이스 좌표계 기준 x, y, z 위치에 있는 물체이며, 이 방향에서 접근하면 잡을 수 있다"는 행동 가능한 정보로 바뀐다.

반대로 이 연결이 흔들리면 비전 모델이 아무리 똑똑해도 로봇은 실패한다. 컵을 잘 찾았지만 깊이를 잘못 추정하면 허공을 집는다. 물체 분할은 잘했지만 좌표 변환이 틀리면 옆 물체를 건드린다. 사람을 잘 인식했지만 지연이 크면 이미 지나간 위치를 피하려고 한다. 로봇 AI는 화면 속 정답보다 물리 세계에서의 정답을 요구한다.

강화학습: 시행착오로 행동을 배우다

컴퓨터 비전이 로봇이 세상을 더 잘 보게 해 준다면, 강화학습은 로봇이 더 나은 행동을 배우게 해 준다. 강화학습을 가장 쉽게 이해하는 방법은 게임을 떠올리는 것이다. 게임 캐릭터가 움직이고, 점수를 얻고, 실패하면 다시 시작한다. 처음에는 아무렇게나 움직이지만, 시간이 지나며 어떤 행동이 점수를 높이는지 배운다.

로봇에서도 비슷한 구조를 만들 수 있다. 로봇은 에이전트가 되고, 로봇이 놓인 공간은 환경이 된다. 로봇은 센서로 현재 상황을 관찰하고, 어떤 행동을 선택한다. 환경은 그 행동의 결과로 새로운 관찰값과 보상을 돌려준다. 이 과정을 반복하면서 로봇은 더 많은 보상을 얻는 방향으로 정책을 바꾼다. 강화학습에서 정책은 "이런 상황에서는 이런 행동을 하라"는 함수라고 생각하면 된다.³

강화학습의 기본 구성 요소는 다음과 같다.

• 관찰은 로봇이 센서로 얻는 현재 정보다. 카메라 이미지, LiDAR 거리값, 관절 각도, 속도 등이 될 수 있다.

• 행동은 로봇이 선택할 수 있는 명령이다. 바퀴 속도, 조향각, 관절 토크, 그리퍼 열기와 닫기 등이 될 수 있다.

• 보상은 행동이 얼마나 좋았는지 알려 주는 숫자다. 목표에 가까워지면 양의 보상, 충돌하면 음의 보상을 줄 수 있다.

• 정책은 관찰을 행동으로 바꾸는 규칙 또는 신경망이다.

• 에피소드는 시작부터 성공, 실패, 시간 초과 같은 종료 조건까지 이어지는 한 번의 시도다.

복도에서 이동하는 작은 바퀴 로봇을 예로 들어 보자. 로봇의 목표는 벽에 부딪히지 않고 복도 끝까지 가는 것이다. 관찰은 앞쪽과 양옆의 거리 센서값이다. 행동은 "직진", "왼쪽 회전", "오른쪽 회전" 세 가지라고 하자. 보상은 목표 지점에 가까워지면 조금씩 주고, 충돌하면 크게 깎고, 목적지에 도착하면 크게 준다.

처음 로봇은 잘 모른다. 벽 쪽으로 돌진하기도 하고, 제자리에서 맴돌기도 한다. 하지만 수많은 시도 끝에 어떤 거리 패턴에서 회전해야 하는지, 언제 직진해야 하는지, 어떻게 하면 충돌을 피하면서 목표에 도달하는지를 배운다. 사람이 "센서값이 0.3m보다 작으면 왼쪽으로 15도 회전하라"는 식의 규칙을 모두 쓰지 않아도, 로봇이 경험을 통해 행동 전략을 얻는 것이다.

강화학습은 특히 전통적인 방식으로 정확한 규칙을 만들기 어려운 문제에서 매력적이다. 다리가 많은 로봇의 보행, 고속 드론 조종, 복잡한 로봇팔 조작, 미끄러운 지면에서의 균형 잡기처럼 변수가 많고 물리 효과가 복잡한 문제에서 유용할 수 있다. 관절이 많고 마찰, 탄성, 충격 같은 요소가 얽히면 사람이 손으로 모든 경우를 설계하기 어렵기 때문이다.

하지만 강화학습에는 현실적인 어려움도 있다. 로봇이 실제 세계에서 수십만 번 넘어지고 부딪히며 배운다면 비용과 안전 문제가 너무 크다. 그래서 많은 로봇 강화학습은 시뮬레이션에서 시작된다. 가상 환경에서 빠르게 많은 시행착오를 쌓고, 어느 정도 학습된 정책을 실제 로봇에 옮기는 방식이다. 로봇 강화학습 자료들이 관찰 공간, 행동 공간, 보상, 종료 조건을 명확히 정의하고, 시뮬레이션을 통해 학습한 뒤 실제 로봇으로 전이하는 흐름을 강조하는 이유도 여기에 있다.⁴

물론 시뮬레이션에서 잘하던 로봇이 실제 세계에서 그대로 잘한다는 보장은 없다. 시뮬레이터의 바닥 마찰은 실제 바닥과 다르고, 모터 응답도 조금 다르며, 센서 노이즈도 완전히 같지 않다. 이것을 시뮬레이션-현실 간극, 흔히 sim-to-real gap이라고 부른다. 이 간극을 줄이기 위해 마찰, 무게, 센서 노이즈 등을 일부러 다양하게 바꾸며 훈련하는 도메인 랜덤화 같은 기법을 사용하기도 한다.

강화학습을 볼 때는 "로봇이 알아서 다 배운다"가 아니라 "우리가 정의한 관찰, 행동, 보상 안에서 시행착오를 통해 정책을 찾는다"고 이해하는 편이 정확하다. 보상을 잘못 설계하면 로봇은 우리가 원한 행동이 아니라 보상 점수만 높이는 이상한 행동을 배울 수 있다. 예를 들어 앞으로 가는 보상만 크게 주면, 걷는 로봇이 안정적으로 걷기보다 몸을 던져 앞으로 미끄러지는 방법을 선택할 수도 있다. AI가 똑똑해서 생기는 문제가 아니라, 주어진 목표를 문자 그대로 최적화하기 때문에 생기는 문제다.

모방학습: 사람의 시연에서 행동을 배우다

강화학습이 "해 보고 보상을 받으며 배우는 방식"이라면, 모방학습은 "잘하는 사람이 하는 것을 보고 배우는 방식"이다. 어린아이가 신발 끈 묶는 법을 배울 때, 부모의 손동작을 보고 따라 한다. 요리 초보자가 칼질을 배울 때, 숙련자의 손목 각도와 속도를 관찰한다. 로봇도 비슷하게 사람의 시연 데이터를 이용해 작업 방법을 배울 수 있다.

모방학습의 기본 아이디어는 단순하다. 사람이 로봇에게 작업을 보여 준다. 로봇은 그때의 관찰과 행동을 데이터로 저장한다. 그런 다음 "이런 장면에서는 사람이 이런 행동을 했다"는 관계를 학습한다. 이후 비슷한 상황이 오면 로봇은 학습한 정책을 이용해 행동한다.

시연 데이터를 모으는 방법은 다양하다. 사람이 조이스틱이나 VR 장비로 로봇을 원격 조종할 수도 있고, 로봇팔을 직접 손으로 잡아 움직이며 가르칠 수도 있다. 이를 kinesthetic teaching, 즉 직접 시연 방식이라고 부른다. 또는 사람의 작업 영상을 보고 행동의 구조를 배우려는 연구도 있다. 데이터에는 카메라 이미지, 로봇 관절 상태, 그리퍼 상태, 실제로 실행한 행동이 함께 기록된다.

가장 기본적인 모방학습은 행동 복제다. 영어로는 behavior cloning이라고 한다. 이름 그대로 전문가의 행동을 복사하는 방식이다. 예를 들어 사람이 로봇팔을 조종해 블록을 집어 상자에 넣는 장면을 100번 보여 주면, 모델은 각 순간의 이미지와 관절 상태에서 다음 행동을 예측하도록 학습한다. 훈련이 잘되면 로봇은 새로운 블록 위치에서도 비슷한 동작을 수행할 수 있다.

모방학습의 장점은 보상 설계가 어려운 작업에도 적용하기 쉽다는 점이다. 컵을 조심스럽게 잡기, 천을 접기, 서랍 손잡이를 당기기, 케이블을 정리하기 같은 작업은 "좋은 행동"을 숫자 보상으로 완벽히 표현하기 어렵다. 하지만 사람이 한 번 보여 주는 것은 비교적 쉽다. 특히 손끝의 미묘한 움직임, 물체를 건드리는 순서, 힘을 조금씩 조절하는 방식은 규칙으로 쓰기보다 시연으로 전달하는 편이 자연스럽다.

하지만 모방학습도 완벽하지 않다. 가장 큰 문제는 로봇이 학습 데이터에서 벗어난 상황에 약하다는 것이다. 사람이 보여 준 시연에서는 컵이 항상 테이블 중앙에 있었는데, 실제로는 컵이 가장자리에 놓여 있을 수 있다. 시연에서는 물체가 쓰러지지 않았지만, 실행 중 로봇이 살짝 건드려 물체가 기울어질 수 있다. 이때 로봇이 한 번 실수하면, 그다음 관찰은 훈련 데이터에 없던 장면이 되고, 다시 실수할 가능성이 커진다. 작은 오차가 쌓여 큰 실패가 되는 것이다.

그래서 실제 로봇 학습에서는 모방학습과 다른 기법을 함께 쓰는 경우가 많다. 처음에는 사람의 시연으로 기본 행동을 배우고, 이후 시뮬레이션이나 실제 환경에서 추가 데이터를 모아 보완한다. 또는 사람이 중간중간 개입해 잘못된 행동을 수정해 주기도 한다. 중요한 것은 모방학습이 로봇에게 "처음부터 막막하게 탐색하지 않도록 출발점"을 준다는 점이다.

강화학습과 모방학습은 경쟁자가 아니다

처음 배우는 입장에서는 강화학습과 모방학습을 서로 다른 진영처럼 느끼기 쉽다. 하나는 보상으로 배우고, 하나는 시연으로 배운다. 하나는 시행착오를 강조하고, 하나는 전문가 데이터를 강조한다. 하지만 실제 로봇에서는 둘을 함께 쓰는 경우가 자연스럽다.

사람도 마찬가지다. 자전거를 배울 때 우리는 누군가 타는 모습을 보고, 설명을 듣고, 보조 바퀴나 손잡이 도움을 받는다. 그런 다음 직접 넘어지고 균형을 잡아 가며 실력을 높인다. 순수한 모방만으로도 부족하고, 무작정 시행착오만으로도 비효율적이다.

로봇에서도 모방학습은 좋은 초기 정책을 제공할 수 있다. 강화학습은 그 정책을 더 다듬거나, 사람이 보여 주기 어려운 세부 조정을 찾는 데 도움을 줄 수 있다. 예를 들어 로봇팔이 사람이 시연한 방식으로 물체를 잡는 법을 먼저 배운 뒤, 다양한 물체 무게와 마찰 조건에서 더 안정적인 힘 조절을 강화학습으로 개선할 수 있다.

아래 표처럼 두 방법은 서로 다른 강점을 가진다.

이 둘을 이해하면 로봇 AI를 더 현실적으로 볼 수 있다. 로봇은 "스스로 깨우치는 존재"도 아니고, "사람 행동을 녹화해 재생하는 기계"도 아니다. 데이터, 보상, 시뮬레이션, 제어 구조가 함께 설계될 때 학습이 실제 행동으로 이어진다.

로봇 파운데이션 모델: 범용성을 향한 시도

최근 AI에서 가장 큰 흐름 중 하나는 파운데이션 모델이다. 파운데이션 모델은 특정 하나의 작업만을 위해 작게 훈련한 모델이 아니라, 대규모 데이터로 미리 학습한 뒤 여러 작업에 적응할 수 있는 큰 모델을 말한다. 언어 분야의 대형 언어 모델, 이미지와 문장을 함께 이해하는 비전-언어 모델이 대표적이다.

로봇 분야에서도 비슷한 흐름이 나타나고 있다. 지금까지 많은 로봇 AI는 특정 로봇, 특정 환경, 특정 작업에 맞춰 따로 만들어졌다. A 로봇팔이 빨간 블록을 집는 모델과 B 로봇팔이 문을 여는 모델은 서로 다른 데이터와 구조로 훈련되는 경우가 많았다. 이런 방식은 안정적일 수 있지만, 새로운 작업이 나올 때마다 다시 데이터를 모으고 모델을 훈련해야 한다.

로봇 파운데이션 모델은 이 한계를 넘으려는 시도다. 여러 로봇, 여러 카메라, 여러 작업, 여러 언어 명령의 데이터를 모아 큰 모델을 훈련하고, 그 모델이 새로운 작업에도 어느 정도 적응하기를 기대한다. 즉, 로봇을 위한 범용 기반 모델을 만들려는 흐름이다.

이 모델들이 하려는 일은 크게 네 가지로 볼 수 있다.

• 언어 이해: "빨간 컵을 싱크대에 가져다줘" 같은 명령을 작업 목표로 해석한다.

• 시각 이해: 이미지 속 물체, 공간, 관계를 파악한다.

• 행동 생성: 로봇팔 이동, 그리퍼 조작, 이동 명령 같은 행동을 출력한다.

• 일반화: 훈련 때 보지 못한 물체, 조합, 환경에서도 어느 정도 작동하려고 한다.

로봇 파운데이션 모델에 대한 연구들은 기존의 대규모 언어 모델과 비전-언어 모델이 로봇의 인지, 의사결정, 제어에 도움을 줄 가능성을 제시한다. 동시에 로봇 데이터 부족, 안전성, 불확실성 평가, 실시간 실행 같은 어려움도 중요한 과제로 지적한다.⁵ 인터넷에는 글과 이미지가 엄청나게 많지만, 로봇이 실제로 물체를 잡고 실패하고 다시 시도한 고품질 행동 데이터는 훨씬 귀하다. 로봇 데이터는 수집 비용이 높고, 로봇마다 몸체와 관절 구조도 다르기 때문이다.

그래서 로봇 파운데이션 모델은 아직 "모든 로봇 문제를 해결한 답"이라기보다, 로봇 학습의 방향을 바꾸는 강력한 흐름으로 이해하는 편이 좋다. 과거에는 작업마다 작은 모델을 따로 만들었다면, 이제는 큰 모델에 다양한 경험을 축적하고, 특정 로봇과 작업에 맞게 조정하는 방식이 점점 중요해지고 있다.

Vision-Language-Action: 보고, 듣고, 움직이는 모델

로봇 파운데이션 모델 중에서도 특히 주목받는 흐름이 Vision-Language-Action 모델, 줄여서 VLA 모델이다. 이름 그대로 시각, 언어, 행동을 하나의 흐름으로 연결하려는 모델이다.

기존 로봇 시스템에서는 보통 모듈이 나뉘어 있었다. 비전 모듈은 물체를 찾고, 언어 모듈은 명령을 해석하고, 계획 모듈은 순서를 만들고, 제어 모듈은 실제 움직임을 만든다. VLA 모델은 이 중 일부를 하나의 학습된 정책으로 묶으려 한다. 입력으로 카메라 이미지와 자연어 명령, 때로는 로봇의 관절 상태를 받고, 출력으로 로봇이 실행할 행동을 생성한다.

예를 들어 사람이 "노란 스펀지를 집어서 접시 옆에 놓아 줘"라고 말한다고 해 보자. VLA 모델이 이 명령을 수행하려면 여러 가지를 동시에 처리해야 한다. 이미지에서 노란 스펀지를 찾아야 하고, 접시가 어디 있는지 알아야 하며, "옆에"라는 공간 관계를 이해해야 한다. 또 로봇팔을 어떻게 움직여 스펀지를 집고, 어디까지 이동해 내려놓을지 행동으로 바꾸어야 한다.

여기서 출력되는 행동은 사람에게 보이는 문장이 아니다. 로봇이 쓸 수 있는 명령이어야 한다. 예를 들어 말단 장치의 이동량, 관절 목표값, 그리퍼 열림 정도, 또는 일정 시간 동안 실행할 행동 묶음이 될 수 있다. 최근의 로봇 조작 모델들은 이미지와 언어 명령을 받아 로봇 행동을 예측하거나, 여러 시점의 행동을 덩어리로 출력하는 방식 등을 사용한다. OpenVLA나 Octo 같은 모델들은 대규모 로봇 시연 데이터와 트랜스포머 기반 구조를 활용해 여러 작업과 환경에 대응하려는 대표적인 흐름으로 소개된다.⁶

VLA 모델이 흥미로운 이유는 로봇에게 더 자연스러운 인터페이스를 줄 수 있기 때문이다. 사람이 매번 좌표와 속도를 지정하는 대신, "저 컵을 치워 줘", "테이블을 정리해 줘", "파란 블록을 빨간 블록 위에 올려 줘"처럼 말할 수 있다. 로봇은 언어를 목표로, 이미지를 상황으로, 행동을 출력으로 연결한다.

하지만 여기에도 주의할 점이 있다. 언어 모델이 문장을 그럴듯하게 생성한다고 해서 로봇 행동이 항상 안전한 것은 아니다. VLA 모델이 이미지에서 물체를 잘못 찾거나, 명령의 의도를 잘못 이해하거나, 물리적으로 불가능한 행동을 제안할 수 있다. 특히 로봇은 현실 세계에서 움직인다. 틀린 답변 하나가 화면 속 오타로 끝나는 것이 아니라, 물건을 떨어뜨리거나 사람과 부딪히는 결과로 이어질 수 있다.

그래서 실제 AI 로봇 시스템은 VLA 모델을 단독으로 믿기보다 여러 안전 장치를 함께 둔다. 충돌 검사, 속도 제한, 힘 제한, 비상 정지, 작업 가능 영역 제한, 사람 감지 같은 전통적인 로봇 안전 기술이 여전히 중요하다. AI가 행동 후보를 제안하더라도, 그 행동이 기구학적으로 가능한지, 장애물과 충돌하지 않는지, 힘이 너무 크지 않은지 확인해야 한다.

AI는 기존 로봇공학을 대체하지 않는다

AI 이야기를 듣다 보면 마치 기존의 지도, 경로 계획, 제어, 좌표계가 모두 낡은 기술처럼 느껴질 수 있다. 하지만 실제는 반대에 가깝다. AI가 로봇에서 강력해질수록 기본 로봇공학은 더 중요해진다.

컴퓨터 비전 모델이 컵을 찾았다고 해도, 로봇은 그 컵의 위치를 좌표계 안에서 표현해야 한다. 강화학습 정책이 바퀴 속도를 출력해도, 모터 제어기는 그 속도를 안정적으로 따라가야 한다. VLA 모델이 "서랍을 열라"는 행동을 생성해도, 로봇팔은 관절 한계와 충돌을 고려해 움직여야 한다. 파운데이션 모델이 언어 명령을 해석해도, 실제 실행 과정에서는 상태 추정, 계획, 피드백 제어가 필요하다.

따라서 좋은 AI 로봇 시스템은 보통 하이브리드 구조를 가진다. 학습된 모델은 애매하고 복잡한 부분을 돕고, 전통적인 로봇공학 모듈은 물리적 안정성과 검증 가능한 실행을 담당한다.

AI는 로봇의 두뇌 전체가 아니라, 여러 기능을 더 유연하게 만드는 학습 가능한 부품들의 집합이라고 보는 편이 좋다. 어떤 부품은 눈에 해당하고, 어떤 부품은 습관에 해당하며, 어떤 부품은 계획 보조자에 가깝다.

작은 예시: 카페 로봇 안의 AI

이제 하나의 장면으로 묶어 보자. 카페에서 일하는 서비스 로봇이 있다. 손님이 "창가 자리 손님에게 아이스 라테를 가져다줘"라고 말한다.

먼저 로봇은 언어 명령을 해석한다. "아이스 라테"는 가져갈 물건이고, "창가 자리 손님"은 목적지다. 그다음 카메라와 비전 모델이 카운터 위의 여러 컵 중 아이스 라테를 찾는다. 컵의 위치와 자세를 추정하고, 로봇팔은 그 컵을 잡기 위한 접근 방향을 계산한다. 그리퍼가 컵을 잡을 때는 힘을 너무 세게 주지 않도록 제어한다.

이동 로봇 베이스는 지도와 경로 계획을 이용해 창가 자리까지 간다. 가는 도중 사람이 지나가면 비전과 거리 센서가 사람을 감지하고, 로컬 회피 정책이 속도를 줄이거나 우회한다. 복잡한 사람 흐름에서 자연스럽게 피하는 전략은 학습된 정책이 도울 수 있다. 목적지에 도착하면 로봇은 손님 위치와 테이블 위치를 다시 인식하고, 컵을 안전한 위치에 내려놓는다.

이 장면에서 AI는 여러 곳에 흩어져 있다. 컵을 보는 데 컴퓨터 비전이 쓰이고, 사람 많은 공간에서의 행동 전략에 학습 정책이 쓰일 수 있으며, 자연어 명령을 작업 목표로 바꾸는 데 언어 모델이 쓰일 수 있다. 하지만 로봇이 실제로 성공하려면 좌표계, 경로 계획, 충돌 검사, 제어, 센서 피드백이 모두 함께 작동해야 한다.

이것이 AI 로봇을 이해하는 현실적인 관점이다. AI가 로봇을 완전히 대신하는 것이 아니라, 로봇 시스템의 여러 빈틈을 메우고 가능성을 넓힌다.

로봇 AI를 볼 때 던져야 할 질문

앞으로 AI 로봇 영상을 볼 때는 "와, 똑똑하다"에서 멈추지 말고 조금 더 구체적으로 질문해 보자. 어떤 센서를 쓰는가. 어떤 정보를 AI가 추정하는가. 행동은 학습된 정책이 직접 내는가, 아니면 기존 계획기가 만든 경로를 따라가는가. 실패했을 때 멈출 안전 장치는 있는가. 훈련한 환경과 실제 환경은 얼마나 다른가.

특히 다음 질문들은 로봇 AI를 이해하는 좋은 기준이 된다.

• 이 AI는 무엇을 입력으로 받는가? 이미지, 언어, LiDAR, 관절 상태, 힘 센서 중 무엇을 보는가?

• 이 AI는 무엇을 출력하는가? 물체 이름, 위치, 경로, 행동 명령, 관절값 중 무엇을 내놓는가?

• 이 AI는 어떻게 학습했는가? 사람이 라벨을 붙인 데이터, 시연 데이터, 시뮬레이션 시행착오, 대규모 사전학습 중 무엇을 사용했는가?

• 이 AI는 어디까지 책임지는가? 인식만 하는가, 계획을 돕는가, 실제 제어 명령까지 내는가?

• 이 AI가 틀렸을 때 누가 막아 주는가? 충돌 검사, 힘 제한, 사람 감지, 비상 정지 같은 안전 장치가 있는가?

이 질문을 던질 수 있다면, 우리는 로봇 AI를 막연한 마술처럼 보지 않게 된다. 대신 하나의 시스템으로 분석할 수 있다. 입력이 있고, 출력이 있으며, 학습 방식이 있고, 한계와 안전 장치가 있다.

다음 단계: LLM은 로봇에게 무엇을 해 줄 수 있을까

이번 장에서는 컴퓨터 비전, 강화학습, 모방학습, 로봇 파운데이션 모델, VLA 모델이 로봇의 인지와 행동을 어떻게 확장하는지 살펴보았다. 컴퓨터 비전은 픽셀을 물체와 위치와 의미로 바꾸고, 강화학습은 보상을 통해 행동 전략을 찾으며, 모방학습은 사람의 시연을 정책으로 압축한다. 파운데이션 모델과 VLA 모델은 언어, 시각, 행동을 더 큰 하나의 흐름으로 묶으려 한다.

하지만 여기서 중요한 구분이 하나 남아 있다. 언어 모델은 말을 잘한다. 계획을 세우고, 작업을 나누고, 사람의 명령을 해석하는 데 강력한 가능성을 보인다. 그러나 로봇은 말만으로 움직일 수 없다. 언어 모델이 만든 계획은 센서, 지도, 행동 정책, 제어기, 안전 검사와 연결되어야 한다.

다음 장에서는 바로 이 지점을 다룬다. LLM은 로봇 에이전트 안에서 어떤 역할을 할 수 있을까? 자연어 명령은 어떻게 실제 행동으로 바뀔까? 그리고 왜 로봇에서는 계획과 실행을 분리해야 할까? 이제 우리는 AI 로봇의 가장 뜨거운 질문, LLM과 로봇 에이전트의 구조로 들어갈 준비가 되었다.

참고

¹Perception in ROS 2 — Robotics and AI manuals

²ROS 2 Perception in 5 Days - Online Course | The Construct

³Reinforcement Learning for Robots — Getting Started With Isaac Lab

⁴ROS 2 StableBaselines3/Gymnasium RL-Framework

⁵Foundation Models in Robotics: Applications, Challenges, and the Future

⁶Foundation Models for Manipulation: Overview