로봇 AI는 무엇이 다른가

화면 안의 AI와 화면 밖의 AI

AI라고 하면 많은 사람이 먼저 챗봇을 떠올린다. 질문을 입력하면 답변을 만들고, 글을 요약하고, 코드를 작성하고, 이미지를 생성한다. 이런 AI는 주로 화면 안에서 일한다. 결과가 마음에 들지 않으면 다시 생성하면 되고, 문장이 틀렸다면 고치면 된다. 물론 소프트웨어 AI도 중요한 결정을 도울 수 있으므로 책임이 가볍다는 뜻은 아니다. 다만 결과가 대개 텍스트, 이미지, 숫자, 추천 목록처럼 디지털 형태로 나타난다는 점에서 로봇 AI와 다르다.

로봇 AI는 화면 밖으로 나온 AI다. 로봇이 "컵을 집어"라는 명령을 이해하면, 그다음에는 실제 모터가 움직인다. 관절이 회전하고, 그리퍼가 닫히고, 물체가 들어 올려진다. 여기서 실수는 단순한 오타가 아니다. 컵이 깨질 수도 있고, 책상 위의 다른 물건을 밀어 떨어뜨릴 수도 있으며, 사람의 손과 부딪힐 수도 있다. 텍스트 AI가 잘못된 답을 내면 사용자가 다시 확인할 기회가 있지만, 로봇팔이 잘못된 방향으로 빠르게 움직이면 그 순간 이미 물리적인 결과가 발생한다.

그래서 로봇 AI의 책임 범위는 훨씬 넓다. 일반 AI가 "무엇을 말할 것인가"를 다룬다면, 로봇 AI는 "무엇을 보고, 어떻게 판단하고, 얼마나 빠르게 움직이고, 실패했을 때 어디서 멈출 것인가"까지 다룬다. 로봇에게 출력은 문장이 아니라 힘, 속도, 위치, 토크, 이동 경로다. 한마디로 로봇 AI는 생각을 행동으로 바꾸는 시스템이다.

이 차이를 이해하는 것이 이 책의 출발점이다. 자연어 명령을 받는 멋진 로봇 에이전트를 만들기 전에, 우리는 먼저 로봇이 왜 어렵고, 왜 조심스럽게 설계되어야 하는지 알아야 한다.

로봇은 물리 세계에서 일한다

소프트웨어 세계는 비교적 깔끔하다. 같은 입력을 넣으면 같은 출력이 나오는 경우가 많고, 파일은 복사해도 모양이 변하지 않으며, 변수 값은 갑자기 바닥으로 떨어지지 않는다. 그러나 물리 세계는 다르다. 같은 명령을 내려도 매번 조금씩 다른 결과가 나온다.

로봇팔이 테이블 위의 컵을 집는 장면을 생각해 보자. 카메라는 컵을 본다. 모델은 컵의 위치를 추정한다. 로봇팔은 그 위치로 이동한다. 그리퍼는 컵을 잡는다. 겉으로는 간단해 보이지만, 실제로는 작은 불확실성이 계속 끼어든다. 카메라 영상에는 조명이 반사되고, 컵의 경계는 흐릿하게 보일 수 있다. 컵이 투명하면 배경과 섞여 보이고, 검은 컵은 그림자 속에서 사라질 수 있다. 로봇팔의 관절은 명령한 각도에 정확히 도달하지 못할 수 있고, 그리퍼의 고무 패드는 컵 표면에서 살짝 미끄러질 수 있다.

물리 세계의 대표적인 어려움은 다음과 같다.

• 지연: 센서가 보고, 컴퓨터가 계산하고, 모터가 반응하기까지 시간이 걸린다.

• 센서 노이즈: 카메라, 깊이 센서, 힘 센서의 측정값에는 항상 작은 오차가 섞인다.

• 마찰과 미끄러짐: 물체 표면의 재질, 먼지, 습도에 따라 잡는 힘이 달라진다.

• 충돌과 접촉: 로봇은 공기 중의 점이 아니라 실제 부피를 가진 기계이므로 주변 물체와 부딪힐 수 있다.

• 변하는 환경: 사람이 물건을 옮기거나 조명이 바뀌거나 바닥 상태가 달라지면 이전 계획이 더 이상 맞지 않을 수 있다.

이 불확실성은 로봇 AI를 단순한 인공지능 문제에서 시스템 문제로 바꾼다. 객체 검출 모델이 컵을 잘 찾는 것만으로는 충분하지 않다. 찾은 위치가 로봇 좌표계에서 어디인지 알아야 하고, 그 위치로 이동하는 경로가 안전해야 하며, 실제로 잡았는지 확인해야 한다. 인식, 제어, 기계 구조, 센서, 환경이 모두 맞물려야 한다.

지연은 작은 문제가 아니다

컴퓨터 화면에서 마우스를 클릭했는데 0.2초 늦게 반응한다고 해 보자. 조금 답답하긴 하지만 위험하지는 않다. 그러나 로봇에서는 0.2초가 큰 차이를 만든다. 이동 로봇이 앞으로 가는 중에 사람을 발견했는데 멈추는 명령이 늦게 전달되면, 그 사이 로봇은 이미 몇 센티미터 또는 몇십 센티미터를 더 이동할 수 있다. 빠른 로봇팔이라면 더 짧은 시간에도 충돌 위험이 커진다.

지연은 여러 곳에서 생긴다. 카메라가 이미지를 촬영하고, 이미지가 컴퓨터로 전달되고, AI 모델이 추론하고, 계획기가 경로를 계산하고, 제어 명령이 모터 드라이버로 전달된다. 각각은 작아 보이지만 합치면 무시하기 어렵다. 특히 LLM 같은 큰 모델이 중간에 들어오면 응답 시간이 더 길어질 수 있다.

그래서 로봇 AI에서는 "똑똑한 판단"만큼 "제때 판단"이 중요하다. 아무리 좋은 계획도 너무 늦게 나오면 쓸모가 없다. 로봇 시스템은 느린 고수준 판단과 빠른 저수준 제어를 나누어 설계해야 한다. 예를 들어 LLM은 "컵을 집어서 상자에 넣는다" 같은 작업 계획을 세울 수 있다. 하지만 충돌 직전의 긴급 정지나 관절 속도 제한은 훨씬 빠른 제어 계층에서 처리해야 한다. 생각은 깊게 하되, 반응은 즉시 일어나야 한다.

센서는 세상을 있는 그대로 보지 못한다

사람은 눈으로 컵을 보면 자연스럽게 컵의 위치와 크기를 이해한다. 하지만 로봇에게 카메라 이미지는 숫자의 배열이다. 빨간색, 초록색, 파란색 값이 픽셀마다 들어 있을 뿐이다. 로봇은 그 숫자들 속에서 물체를 찾아야 한다.

문제는 센서가 완벽하지 않다는 것이다. 카메라는 빛에 민감하다. 밝은 창가에서는 물체가 하얗게 날아가고, 어두운 곳에서는 노이즈가 늘어난다. 깊이 카메라는 물체까지의 거리를 알려 주지만, 반짝이는 금속이나 투명한 플라스틱 앞에서는 값을 제대로 얻지 못할 수 있다. 힘 센서는 접촉을 감지하지만, 아주 작은 힘과 진동을 구분하기 어렵다.

센서 노이즈는 단지 숫자가 조금 흔들리는 문제가 아니다. 로봇이 잘못된 세계를 믿게 만든다. 컵이 실제보다 2센티미터 왼쪽에 있다고 판단하면, 그리퍼는 컵의 가장자리를 치고 지나갈 수 있다. 바닥에 장애물이 없다고 잘못 판단하면 이동 로봇은 멈추지 않고 전진할 수 있다.

따라서 로봇 AI는 항상 "내가 본 것이 틀릴 수도 있다"는 태도로 설계되어야 한다. 한 번 본 결과를 맹신하지 않고, 여러 프레임을 확인하고, 다른 센서와 비교하고, 실행 후 결과를 다시 관찰해야 한다. 좋은 로봇은 자신이 확신할 수 없는 상황에서 무리하게 행동하지 않는다.

계획이 맞아도 실행은 실패할 수 있다

일반적인 소프트웨어에서는 계획과 실행이 비교적 가깝다. "파일을 열고, 내용을 읽고, 문자열을 바꾼 뒤 저장한다"는 절차는 권한이나 경로 문제가 없다면 대체로 그대로 수행된다. 하지만 로봇에서는 계획이 논리적으로 맞아도 실행이 실패할 수 있다.

예를 들어 AI가 다음과 같은 계획을 세웠다고 하자.

1. 빨간 컵을 찾는다.

2. 컵의 중심 위치로 로봇팔을 이동한다.

3. 그리퍼를 닫아 컵을 잡는다.

4. 컵을 오른쪽 바구니에 놓는다.

이 계획은 틀리지 않다. 사람도 비슷하게 생각한다. 하지만 실제 실행에서는 여러 문제가 생긴다. 컵의 손잡이가 그리퍼에 걸릴 수 있고, 컵이 예상보다 무거울 수 있으며, 그리퍼가 컵의 중심을 잡지 못해 기울어질 수 있다. 바구니로 이동하는 경로에 다른 물체가 있을 수도 있다. 컵을 놓으려고 그리퍼를 열었는데 컵이 바구니 가장자리에 걸려 넘어질 수도 있다.

이것이 로봇 시스템의 중요한 특징이다. 로봇에게 계획은 출발점일 뿐이다. 실행 중에는 계속 확인하고 수정해야 한다. "빨간 컵을 집어 오른쪽에 놓는다"는 하나의 명령 안에는 수많은 작은 판단이 숨어 있다. 물체가 보이는가, 잡을 수 있는 자세인가, 경로가 막히지 않았는가, 실제로 잡혔는가, 이동 중에 떨어지지 않았는가, 목표 위치에 정확히 놓였는가. 로봇은 이 질문들에 계속 답해야 한다.

그래서 로봇 AI는 정답을 한 번 출력하는 모델이 아니라, 실행하면서 배우고 조정하는 폐루프 시스템이어야 한다. 폐루프란 결과를 다시 입력으로 받아 다음 행동을 바꾸는 구조를 말한다. 반대로 한 번 정한 명령을 끝까지 밀어붙이는 방식은 개루프라고 부를 수 있다. 현실의 로봇은 개루프만으로는 안전하고 안정적으로 일하기 어렵다.

로봇은 실패를 기본값으로 생각해야 한다

초보 개발자는 로봇이 성공하는 경로를 먼저 상상한다. 카메라가 물체를 찾고, 로봇팔이 부드럽게 다가가고, 그리퍼가 정확히 집고, 목적지에 예쁘게 내려놓는 장면이다. 데모 영상에서는 모든 것이 자연스럽게 보인다. 그러나 실제 개발 현장에서는 실패가 훨씬 자주 등장한다.

물체 검출이 안 될 수 있다. 검출은 되었지만 위치가 틀릴 수 있다. 경로 계획이 실패할 수 있다. 계획은 성공했지만 제어 중 충돌 위험이 생길 수 있다. 그리퍼를 닫았지만 물체가 잡히지 않을 수 있다. 잡았다고 생각했는데 이동 중 떨어질 수 있다. 작업 완료 후 확인해 보니 물체가 목표 위치 밖에 있을 수도 있다.

이런 실패는 로봇이 "나쁘게 만들어져서" 발생하는 것이 아니다. 물리 세계에서 행동한다는 것 자체가 원래 그렇다. 중요한 것은 실패를 없애겠다는 태도보다, 실패를 감지하고 안전하게 회복하는 구조를 만드는 태도다.

좋은 로봇 시스템은 실패를 부끄러워하지 않는다. 오히려 실패를 빠르게 인정한다. 물체가 보이지 않으면 "보이지 않는다"고 말하고, 경로가 위험하면 멈추며, 잡기에 실패하면 다시 시도하거나 사람에게 도움을 요청한다. 실패를 숨기고 계속 진행하는 로봇이 가장 위험하다.

인식, 판단, 행동, 피드백의 반복

로봇 AI의 핵심 흐름은 네 단어로 요약할 수 있다. 인식, 판단, 행동, 피드백이다.

인식은 로봇이 현재 상황을 알아내는 단계다. 카메라로 물체를 보고, 깊이 센서로 거리를 추정하고, 관절 센서로 자신의 자세를 확인한다. 로봇은 먼저 "지금 무엇이 어디에 있는가"를 알아야 한다.

판단은 목표를 이루기 위해 무엇을 할지 결정하는 단계다. 사용자가 "빨간 컵을 집어 오른쪽에 놓아줘"라고 말하면, 로봇은 빨간 컵이 무엇인지, 오른쪽이 어디인지, 어떤 순서로 움직일지 정해야 한다. 이때 LLM은 자연어 명령을 작업 순서로 바꾸는 데 도움을 줄 수 있다. 하지만 LLM의 계획은 실제 로봇 스킬과 안전 조건 안에서 실행 가능해야 한다.

행동은 판단을 실제 움직임으로 바꾸는 단계다. 로봇팔은 목표 자세로 이동하고, 그리퍼는 열리고 닫히며, 이동 로봇은 바퀴를 굴린다. 이 단계에서는 경로 계획, 속도 제어, 충돌 회피 같은 전통적인 로봇공학 기술이 중요하다.

피드백은 행동의 결과를 다시 확인하는 단계다. 컵을 잡았는지, 바구니 안에 들어갔는지, 로봇이 목표 위치에 도착했는지 확인한다. 피드백이 없다면 로봇은 자신이 성공했는지 알 수 없다. 사람이 눈을 감고 컵을 집으려는 것과 비슷하다. 한 번은 운 좋게 성공할 수 있지만, 안정적으로 반복하기는 어렵다.

이 네 단계는 한 번만 실행되지 않는다. 로봇은 계속 반복한다. 보고, 생각하고, 움직이고, 다시 본다. 조금 움직인 뒤 다시 확인하고, 예상과 다르면 계획을 고친다. 이 반복 구조가 로봇을 단순한 자동 기계에서 지능형 에이전트로 바꾼다.

일반 AI 모델만으로는 부족한 이유

요즘 AI 모델은 놀라울 정도로 강력하다. 이미지를 보고 물체를 설명하고, 자연어 명령을 이해하고, 코드를 작성하고, 복잡한 계획도 만들 수 있다. 그렇다면 이런 모델 하나를 로봇에 연결하면 바로 지능형 로봇이 될까?

답은 "그렇게 간단하지 않다"이다. 큰 AI 모델은 세상을 이해하는 데 큰 도움을 주지만, 로봇의 모든 문제를 대신 해결해 주지는 않는다. 특히 물리적 실행은 별도의 검증과 제어가 필요하다.

LLM이 "컵을 집으세요"라고 계획을 만들 수는 있다. 하지만 그 컵이 로봇팔의 작업 공간 안에 있는지, 그리퍼로 잡을 수 있는 모양인지, 경로 중 충돌이 없는지, 컵 안에 뜨거운 물이 있는지는 따로 확인해야 한다. 언어 모델은 그럴듯한 답을 만들 수 있지만, 모터를 직접 움직이는 권한을 아무 제한 없이 주면 위험하다.

따라서 로봇 AI 에이전트는 여러 계층으로 나누어 설계해야 한다. 고수준 AI는 목표를 이해하고 작업을 분해한다. 비전 시스템은 물체와 공간을 인식한다. 로봇 제어 시스템은 안전한 경로를 계산하고 모터를 움직인다. 안전 계층은 금지된 행동을 막고, 위험이 감지되면 즉시 정지한다. 로그 시스템은 어떤 판단으로 어떤 행동이 실행되었는지 남긴다.

똑똑한 머리만으로는 좋은 로봇이 되지 않는다. 좋은 눈, 안정적인 손, 빠른 반사 신경, 그리고 멈출 줄 아는 신중함이 함께 필요하다.

안전은 마지막에 붙이는 기능이 아니다

로봇 개발에서 안전을 나중에 생각하면 늦다. 안전은 기능 목록의 끝에 붙이는 장식이 아니라, 처음부터 시스템 구조 안에 들어가야 하는 원칙이다.

예를 들어 로봇팔이 책상 위에서 작업한다고 하자. 안전한 시스템은 먼저 작업 가능한 영역을 제한한다. 로봇팔이 사람 쪽으로 뻗지 못하게 하고, 특정 높이 아래로 내려가지 못하게 하며, 힘이나 속도에 제한을 둔다. 물체를 집기 전에는 충돌 가능성을 확인하고, 실행 중 예상하지 못한 힘이 감지되면 멈춘다. 사용자가 애매한 명령을 내리면 바로 실행하지 않고 되묻는다.

"저거 치워줘"라는 명령은 사람에게는 쉬워 보이지만 로봇에게는 위험할 수 있다. 저것이 무엇인지, 어디로 치워야 하는지, 치워도 되는 물건인지 분명하지 않다. 약병일 수도 있고, 뜨거운 컵일 수도 있고, 누군가의 휴대폰일 수도 있다. 안전한 로봇은 애매한 명령을 과감한 행동으로 해석하지 않는다. 불확실하면 멈추고 확인한다.

로봇 AI에서 안전은 똑똑함의 반대가 아니다. 오히려 진짜 지능의 일부다. 상황을 모를 때 모른다고 말하는 것, 할 수 없는 일을 할 수 없다고 판단하는 것, 위험한 행동을 거절하는 것이 로봇에게는 매우 중요한 능력이다.

로봇 AI를 바라보는 올바른 관점

로봇 AI를 만들 때 우리는 세 가지 착각을 조심해야 한다.

첫째, "인식만 잘하면 된다"는 착각이다. 물체를 정확히 찾는 것은 중요하지만, 그것은 시작일 뿐이다. 찾은 물체를 어떻게 잡을지, 잡은 뒤 어떻게 이동할지, 실패하면 어떻게 할지까지 이어져야 한다.

둘째, "계획만 똑똑하면 된다"는 착각이다. 훌륭한 작업 순서가 있어도 실제 로봇팔이 그 동작을 수행하지 못하면 의미가 없다. 계획은 로봇의 몸, 센서, 작업 공간, 안전 제한을 알아야 한다.

셋째, "한 번 성공하면 완성이다"라는 착각이다. 로봇 데모는 한 번의 성공 장면으로 멋져 보일 수 있다. 하지만 실제 시스템은 다양한 조명, 물체 위치, 사람의 개입, 센서 오차 속에서도 반복적으로 동작해야 한다. 로봇 개발에서 중요한 질문은 "한 번 되었는가"가 아니라 "다시 해도 되는가, 실패해도 안전한가"이다.

이 관점을 갖추면 앞으로 배울 내용이 하나의 흐름으로 연결된다. 로봇 비전은 세상을 보기 위한 눈이고, 로봇팔 조작은 행동하기 위한 손이다. 모방학습은 사람이 보여준 행동을 따라 배우는 방법이고, 강화학습은 시행착오를 통해 더 나은 행동을 찾는 방법이다. LLM 로봇 에이전트는 자연어 명령을 이해하고 여러 스킬을 연결하는 두뇌 역할을 한다. 하지만 이 모든 요소는 반드시 피드백과 안전 제어 위에서 작동해야 한다.

첫 번째 원칙: 로봇은 행동하는 AI다

이 장의 핵심은 단순하다. 로봇 AI는 행동하는 AI다. 텍스트를 생성하는 AI와 달리 로봇은 실제 세계에 힘을 가한다. 그래서 로봇 AI는 더 많은 불확실성을 다루어야 하고, 더 엄격한 안전 구조를 가져야 하며, 실행 결과를 계속 확인해야 한다.

앞으로 우리는 자연어 명령을 받아 로봇팔이 물체를 집고, 이동 로봇이 목적지로 가고, 실패하면 다시 계획하는 구조를 만들어 갈 것이다. 그 과정에서 최신 AI 모델은 강력한 도구가 된다. 그러나 로봇의 세계에서는 항상 마지막 질문이 남는다.

"정말 움직여도 안전한가?"

이 질문을 습관처럼 던지는 개발자가 좋은 로봇 에이전트를 만든다. 로봇 AI는 단지 똑똑한 답을 만드는 기술이 아니다. 세상을 보고, 조심스럽게 판단하고, 책임 있게 움직이며, 결과를 다시 확인하는 기술이다. 이제 우리는 그 구조를 하나씩 쌓아 올릴 준비를 시작한다.