생성형 AI와 피지컬 AI의 결합

생성형 AI가 피지컬 AI에 더하는 것

생성형 AI는 문장, 이미지, 코드, 계획처럼 새로운 결과물을 만들어내는 인공지능이다. 그중 대규모 언어모델, 즉 LLM은 많은 텍스트를 학습해 사람의 말을 이해하고 답을 생성하는 모델이다. 비전-언어 모델, 즉 VLM은 이미지와 문장을 함께 다룬다. 사진을 보고 "테이블 위 왼쪽 컵"이 무엇인지 설명하거나, "넘어진 물건을 찾아줘" 같은 말을 장면과 연결할 수 있다.

피지컬 AI에서 생성형 AI의 가치는 단순히 말을 잘하는 데 있지 않다. 사람의 애매한 지시를 로봇이 실행할 수 있는 작업 단위로 나누고, 카메라 장면 속 물체와 문맥을 해석하며, 실패했을 때 이유를 설명하는 능력을 더한다. 연구 현장에서도 비전-언어-행동 모델이 기존의 정해진 스크립트 중심 로봇을 넘어, 덜 구조화된 환경에서 보고 판단하고 행동하는 방향으로 발전하고 있다고 본다.¹

다만 중요한 전제가 있다. 생성형 AI가 계획을 만든다고 해서 그 계획이 곧바로 안전한 행동이 되는 것은 아니다. 피지컬 AI에서는 말이 틀리는 정도로 끝나지 않는다. 잘못된 계획은 충돌, 낙하, 끼임, 장비 파손으로 이어질 수 있다. 그래서 생성형 AI는 피지컬 AI의 '두뇌 일부'가 될 수 있지만, 센서, 공간 이해, 제어, 안전 검증을 대체할 수는 없다.

AI 생성 이미지

자연어 지시를 실행 계획으로 바꾸기

사람은 로봇에게 보통 기계식 명령어로 말하지 않는다. "3번 선반의 파란 상자를 꺼내서 포장대로 옮겨줘"라고 말한다. 더 자연스러운 현장에서는 "급한 주문부터 처리해줘", "통로를 막고 있는 것 좀 치워줘", "깨지기 쉬운 물건은 조심해서 옮겨줘"처럼 말한다.

LLM은 이런 자연어 지시를 로봇이 이해할 수 있는 단계별 계획으로 바꾸는 데 도움을 준다. 예를 들어 물류 로봇이 "파란 상자를 포장대로 옮겨줘"라는 지시를 받았다면, LLM은 다음과 같은 작업 순서를 만들 수 있다.

1. 현재 위치와 포장대 위치를 확인한다.

2. 카메라와 지도에서 3번 선반을 찾는다.

3. 파란 상자 후보를 식별한다.

4. 상자가 집을 수 있는 위치에 있는지 확인한다.

5. 로봇 팔로 접근해 잡는다.

6. 이동 경로를 계획한다.

7. 사람이나 장애물을 피하며 포장대로 이동한다.

8. 상자를 내려놓고 작업 완료를 보고한다.

이때 LLM은 모터를 직접 돌리는 장치가 아니다. 사람의 의도를 작업 계획으로 번역하는 역할에 가깝다. 실제 실행 전에는 다른 시스템이 계획을 검증해야 한다. 선반 높이가 로봇 팔의 작업 범위 안에 있는지, 상자의 무게가 허용 범위를 넘지 않는지, 이동 경로에 사람이 있는지, 내려놓을 공간이 비어 있는지 확인해야 한다.

이 구조는 기존 자동화와 다르다. 기존 시스템은 "A 위치에서 B 위치로 이동"처럼 미리 정해진 명령에는 강하지만, "통로를 막고 있는 것"처럼 상황을 해석해야 하는 지시에는 약했다. 생성형 AI는 그 사이를 메운다. 사람의 언어를 기계의 실행 단위로 바꾸고, 필요한 정보를 되묻고, 불확실한 부분을 표시한다.

비전-언어 모델은 '저 컵'을 어떻게 이해하는가

피지컬 AI가 실제 공간에서 움직이려면 말만 이해해서는 부족하다. "저 컵을 치워줘"라는 지시에는 눈앞의 장면이 함께 들어 있다. 여기서 "저 컵"은 문장만으로는 알 수 없다. 카메라가 본 이미지, 사람의 손짓, 테이블 위 물체의 위치, 컵 주변의 상황을 함께 해석해야 한다.

비전-언어 모델은 이미지와 문장을 함께 입력받아 물체와 문맥을 연결한다. 예를 들어 주방 로봇이 카메라로 싱크대, 접시, 컵, 수건을 보고 있다고 하자. 사람이 "넘어질 것 같은 컵을 치워줘"라고 말하면 모델은 단순히 컵을 찾는 데서 멈추지 않는다. 컵이 테이블 가장자리에 있는지, 다른 물체와 부딪힐 가능성이 있는지, 손잡이가 어느 방향인지, 치운다는 말이 싱크대로 옮기라는 뜻인지까지 추론해야 한다.

하지만 VLM의 출력은 아직 행동이 아니다. "컵은 테이블 오른쪽 가장자리에 있다"는 설명은 유용하지만, 로봇 팔이 움직이려면 더 구체적인 정보가 필요하다. 컵의 3차원 위치, 잡을 수 있는 부분, 컵 안에 액체가 있는지, 너무 세게 잡으면 깨지는지, 이동 중 흔들리지 않게 어떤 속도로 움직여야 하는지를 알아야 한다.

그래서 피지컬 AI에서 VLM은 감지와 판단 사이의 연결 장치로 쓰인다. 카메라와 깊이 센서가 장면을 감지한다. VLM은 그 장면을 사람의 지시와 연결해 의미를 붙인다. 이후 공간 이해와 계획 시스템이 실제로 가능한 행동 후보를 만든다. 마지막으로 제어 시스템이 관절 각도, 속도, 힘으로 바꿔 실행한다.

비전-언어-행동 모델의 등장

최근에는 비전-언어 모델에 '행동'을 더한 비전-언어-행동 모델, 즉 VLA가 주목받고 있다. VLA는 이미지나 영상, 자연어 지시, 로봇의 현재 상태를 함께 입력받고, 그 결과로 로봇이 실행할 행동을 출력하려는 모델이다.

여기서 로봇의 현재 상태란 관절 각도, 손끝 위치, 그리퍼가 열려 있는지 닫혀 있는지, 바퀴 속도, 힘 센서 값 같은 정보다. VLA는 "무엇이 보이는가", "무엇을 하라는가", "지금 몸은 어떤 상태인가"를 함께 보고 다음 행동을 만든다.

로봇 기초모델은 이런 방향의 대표적 흐름이다. 기초모델은 다양한 데이터에서 넓은 능력을 미리 학습한 뒤, 여러 작업에 맞게 조정해 쓰는 모델을 뜻한다. 언어 분야의 기초모델이 번역, 요약, 질문 답변에 함께 쓰이듯, 로봇 기초모델은 집기, 옮기기, 정리하기, 닦기 같은 여러 물리 작업에 적용되는 것을 목표로 한다.

예를 들어 π0 같은 VLA 모델은 이미지와 텍스트뿐 아니라 로봇 상태와 행동 정보를 함께 다룬다. 모델 입장에서는 장면을 나타내는 정보, 지시를 나타내는 정보, 로봇 상태를 나타내는 정보, 그리고 행동을 나타내는 정보가 하나의 흐름 안에서 연결된다. 여기서 토큰은 모델이 처리하기 좋은 작은 단위라고 이해하면 된다. 특히 π0-FAST처럼 행동 시퀀스를 더 효율적으로 표현하기 위해 토큰화 방식을 쓰는 모델도 등장했다.²

또 다른 흐름에서는 모델이 먼저 "접시를 싱크대로 옮긴다" 같은 상위 행동을 문장으로 예측한 뒤, 이를 여러 단계의 연속적인 로봇 동작으로 바꾼다. 가정처럼 물건 배치가 매번 달라지는 환경에서는 웹 데이터, 로봇 시연 데이터, 다른 로봇의 작업 데이터, 사람의 언어 지시 데이터를 섞어 학습시키는 방식도 쓰인다.³

이 변화의 핵심은 분리되어 있던 능력을 하나로 묶는 데 있다. 과거에는 물체 인식 모델, 언어 이해 모델, 경로 계획기, 제어기가 각각 따로 설계되는 경우가 많았다. VLA는 관찰, 명령, 행동 사이의 관계를 하나의 학습 구조 안에서 연결하려 한다. 물론 실제 제품이나 현장 시스템에서는 여전히 별도의 안전 계층과 제어 계층이 필요하다. 하지만 모델이 처음부터 "보고, 지시를 이해하고, 움직이는 데이터"를 함께 학습한다는 점은 큰 변화다.

현장에서 달라지는 사용 방식

생성형 AI와 피지컬 AI가 결합하면 로봇을 쓰는 방식이 바뀐다. 가장 큰 변화는 사람과 로봇 사이의 인터페이스다. 인터페이스는 사용자가 시스템을 다루는 방식이다. 기존 로봇은 버튼, 티칭 펜던트, 코드, 정해진 작업 시나리오를 통해 제어되는 경우가 많았다. 앞으로는 작업자가 말로 지시하고, 로봇이 질문하고, 상황을 설명하는 방식이 늘어날 수 있다.

스마트 팩토리에서 작업자가 "이 부품은 표면 흠집이 있으면 별도로 빼줘"라고 말하면, 시스템은 흠집 검사 기준을 확인하고, 카메라 검사 절차를 호출하고, 분류 로봇의 동작 계획을 만들 수 있다. 물류센터에서는 "오전 배송 물량을 먼저 처리하되, 파손된 박스는 검수 구역으로 보내"라는 지시를 작업 순서, 이동 경로, 분류 기준으로 나눌 수 있다.

가정용 로봇에서는 변화가 더 분명하다. 사람은 "거실 좀 정리해줘"라고 말하지, 보통 "바닥의 장난감을 인식하고, 장난감 상자 위치를 찾고, 집게를 7센티미터 벌려 집은 뒤, 0.4미터/초로 이동하라"고 말하지 않는다. 생성형 AI는 이런 넓은 지시를 구체적인 하위 작업으로 바꾸는 데 강점이 있다.

또 하나의 장점은 설명이다. 로봇이 작업을 못 할 때 "실패"라고만 말하면 사람은 원인을 알기 어렵다. 생성형 AI가 결합된 시스템은 "컵이 너무 투명해 깊이 센서가 안정적으로 위치를 잡지 못했습니다", "선반 높이가 현재 팔의 작업 범위를 벗어납니다", "사람이 이동 경로에 있어 대기 중입니다"처럼 이유를 설명할 수 있다. 이 설명 능력은 현장 운영에서 중요하다. 사람이 원인을 알아야 작업을 수정하고, 데이터를 보완하고, 안전 기준을 조정할 수 있기 때문이다.

그럴듯한 계획이 위험한 이유

생성형 AI의 약점도 분명하다. LLM과 VLM은 그럴듯한 답을 만들 수 있지만, 그 답이 항상 사실이거나 실행 가능한 것은 아니다. 이를 환각이라고 부른다. 환각은 모델이 실제 근거가 부족한데도 자신 있는 문장이나 계획을 생성하는 현상이다.

화면 안의 AI가 잘못된 여행 일정을 만들면 불편이 생긴다. 그러나 로봇이 잘못된 작업 계획을 실행하면 사고가 날 수 있다. 예를 들어 모델이 "상자를 위 선반에 올려라"는 계획을 만들었지만, 실제 선반이 로봇 팔이 닿지 않는 높이에 있을 수 있다. "컵을 집어 싱크대에 넣어라"는 계획은 맞아 보이지만, 컵 안에 뜨거운 물이 있거나 컵이 깨져 있을 수 있다. "사람 뒤쪽으로 돌아가라"는 경로가 짧아 보여도, 좁은 통로에서는 위험할 수 있다.

그래서 피지컬 AI에서 생성형 AI의 출력은 반드시 물리적으로 검증되어야 한다. 검증해야 할 항목은 많다.

• 로봇 팔이 목표 위치에 실제로 닿을 수 있는가

• 이동 경로에 장애물이나 사람이 있는가

• 물체의 무게와 형태가 집기에 적합한가

• 필요한 힘이 장비 한계를 넘지 않는가

• 충돌 가능성이 있는가

• 작업 구역의 안전 규칙을 위반하지 않는가

• 실패했을 때 즉시 멈출 수 있는가

이 검증은 LLM의 말솜씨에 맡기면 안 된다. 충돌 검사, 동작 계획, 힘 제한, 속도 제한, 비상 정지, 사람 감지 같은 독립적인 안전 계층이 필요하다. 생성형 AI가 계획을 제안하면, 물리 엔진이나 디지털 트윈에서 먼저 시험하고, 실제 로봇에서는 제한된 속도와 영역에서 검증하며, 위험 신호가 보이면 즉시 멈춰야 한다.

결합의 핵심은 대체가 아니라 연결이다

생성형 AI는 피지컬 AI를 더 유연하게 만든다. 사람의 말을 이해하고, 장면을 설명하고, 복잡한 목표를 작은 작업으로 나누며, 실패 이유를 설명한다. 비전-언어-행동 모델은 한 걸음 더 나아가 관찰, 지시, 로봇 상태, 행동을 하나의 학습 구조로 연결한다.

그러나 피지컬 AI의 기본 흐름은 변하지 않는다. 먼저 현실을 감지한다. 그다음 장면의 의미를 판단한다. 가능한 행동을 계획한다. 제어 시스템이 실제 움직임을 만든다. 행동 결과를 다시 센서로 확인하고 다음 판단에 반영한다.

생성형 AI는 이 흐름의 여러 지점을 강화한다. 감지된 장면에 의미를 붙이고, 사람의 의도를 작업 계획으로 바꾸고, 낯선 상황에서 대안을 제안한다. 하지만 마지막 책임은 전체 시스템 설계에 있다. 좋은 피지컬 AI는 생성형 AI의 유연성을 받아들이되, 물리 세계의 제약을 잊지 않는다. 말로 가능한 계획이 아니라, 실제 공간에서 안전하게 실행 가능한 계획만 행동으로 옮겨야 한다.

참고

¹Advancing AI for the physical world

²π0 and π0-FAST: Vision-Language-Action Models for General Robot Control

³π0.5: a VLA with Open-World Generalization