화면 속 AI에서 물리 세계의 AI로
지난 몇 년 동안 인공지능은 주로 화면 안에서 성장했다. 글을 쓰고, 이미지를 만들고, 코드를 생성하고, 질문에 답했다. 이 변화만으로도 충분히 컸지만, 인간의 일상과 산업의 대부분은 여전히 화면 밖에서 일어난다. 물건을 집고, 문을 열고, 부품을 조립하고, 환자를 돕고, 창고를 정리하는 일은 모두 물리 세계의 문제다.
로봇이 다시 인공지능의 중심으로 들어온 이유가 여기에 있다. 인공지능이 실제 세계에서 가치를 만들려면 단순히 "무엇을 아는가"를 넘어 "무엇을 할 수 있는가"로 나아가야 한다. 이때 등장하는 개념이 Physical AI, 즉 물리 인공지능이다. 물리 인공지능은 텍스트나 이미지처럼 디지털 대상을 다루는 데 그치지 않고, 센서로 세계를 보고 몸을 움직여 결과를 만드는 인공지능을 가리킨다.
이 흐름은 Embodied AI 또는 Embodied Robotics라는 말과도 맞닿아 있다. 지능이 화면 속 답변으로만 존재하는 것이 아니라, 특정한 몸을 가진 시스템 안에서 주변 환경과 상호작용한다는 관점이다. 로봇은 그 관점을 가장 직접적으로 보여 주는 대상이다. 로봇은 보고, 움직이고, 부딪히고, 실패하고, 다시 시도해야 한다.
그리고 이 흐름의 중요한 기술적 형태 중 하나가 VLA다. VLA는 Vision-Language-Action, 즉 시각-언어-행동 모델을 뜻한다. 로봇이 카메라로 본 장면, 사람이 말한 지시, 실제로 수행해야 할 동작을 하나의 흐름으로 연결하려는 모델이다. 최근 연구들은 VLA를 시각 이해, 언어 이해, 행동 생성을 통합해 로봇을 더 일반적인 에이전트로 만들려는 접근으로 설명한다1.
핵심은 간단하다. 다음 세대 로봇은 더 이상 정해진 버튼만 누르는 기계가 아니라, 상황을 이해하고 지시를 해석하며 물리적으로 행동하는 AI 시스템이 되어야 한다.
AI 생성 이미지
전통 로봇공학이 잘했던 것과 어려워했던 것
전통 로봇공학은 결코 실패한 기술이 아니다. 오히려 공장 자동화, 반도체 제조, 자동차 조립, 물류 설비에서 놀라운 성과를 냈다. 산업용 로봇 팔은 사람보다 빠르고 정확하게 같은 동작을 반복할 수 있다. 위험한 환경에서도 지치지 않는다. 정해진 조건에서는 로봇이 인간보다 훨씬 안정적이다.
문제는 "정해진 조건"이다.
전통적인 로봇 시스템은 대개 환경을 먼저 고정한다. 작업대의 위치, 부품의 방향, 조명의 밝기, 이동 경로, 안전 구역을 세밀하게 설계한다. 그런 다음 로봇에게 규칙과 제어 알고리즘을 준다. 예를 들어 "이 좌표로 이동하라", "이 힘 이상이 감지되면 멈춰라", "컨베이어가 이 위치에 오면 집어라"와 같은 방식이다.
이 방식은 공장처럼 반복성이 높은 장소에서 강하다. 하지만 현실 세계는 자주 변한다. 컵은 매번 다른 방향으로 놓인다. 상자는 조금 찌그러져 있을 수 있다. 사람은 예측하기 어려운 위치로 움직인다. 조명은 바뀌고, 바닥에는 장애물이 생긴다. 로봇이 한 번도 본 적 없는 물건을 만나기도 한다.
사람에게는 사소한 변화가 로봇에게는 큰 문제가 된다. 컵 손잡이가 왼쪽에 있느냐 오른쪽에 있느냐, 물체가 조금 기울었느냐, 지시가 "저거 좀 치워 줘"처럼 모호하냐가 작업 성공률을 크게 흔든다. 전통 로봇공학은 물리적 정밀성에는 강했지만, 의미를 이해하고 낯선 상황에 적응하는 능력은 제한적이었다.
그래서 로봇은 오랫동안 "똑똑한 기계"라기보다 "정교하게 프로그램된 자동화 장치"에 가까웠다. 로봇이 더 넓은 세상으로 나가기 위해서는 제어 기술만이 아니라, 상황을 읽고 일반화하는 지능이 필요했다.
대규모 모델이 가져온 변화
대규모 언어모델, 즉 LLM은 많은 텍스트를 학습해 언어를 이해하고 생성하는 모델이다. LLM은 로봇 팔을 직접 움직이지는 못한다. 하지만 중요한 능력을 보여 주었다. 복잡한 지시를 단계로 나누고, 문맥을 파악하고, 이전에 본 적 없는 질문에도 그럴듯한 답을 구성하는 능력이다.
이후 이미지를 함께 다루는 멀티모달 AI가 발전했다. 멀티모달은 여러 종류의 정보를 함께 다룬다는 뜻이다. 사람은 글만 읽지 않는다. 보고, 듣고, 만지고, 말하고, 행동한다. 로봇도 마찬가지다. 로봇에게 필요한 지능은 이미지, 언어, 센서, 위치, 힘, 행동을 함께 해석하는 능력이다.
이 변화는 로봇 지능에 새로운 가능성을 열었다. 예전에는 "빨간 컵을 집어라"라는 명령을 수행하려면 빨간색 인식기, 컵 검출기, 집기 위치 계산기, 로봇 제어기를 따로 만들어야 했다. 이제는 하나의 큰 모델이 장면을 보고, 문장을 해석하고, 어떤 물체를 어떤 방식으로 다뤄야 할지 추론하는 방향으로 발전하고 있다.
물론 이것이 곧바로 완전한 로봇을 만든다는 뜻은 아니다. 언어모델은 말을 잘하지만 손끝의 마찰을 느끼지 못한다. 이미지 모델은 물체를 알아볼 수 있지만, 그것을 실제로 잡을 때 어느 정도 힘을 써야 하는지 모를 수 있다. 그래서 VLA가 중요하다. VLA는 "이해"와 "행동" 사이의 빈칸을 메우려는 시도다.
로봇 시스템 연구에서는 크게 세 가지 접근이 함께 발전하고 있다. 첫째, 시각과 언어 입력에서 바로 행동을 생성하는 VLA 방식이다. 둘째, 장면 인식, 계획, 제어를 모듈로 나누는 방식이다. 셋째, 멀티모달 LLM이 중심에서 도구와 로봇 기능을 호출하는 에이전트 방식이다. 각 방식은 장점이 있지만, 실제 로봇 배치에서는 데이터 부족, 계산 비용, 오류 전파, 낯선 환경에서의 실패 같은 문제가 남아 있다2.
즉 변화의 본질은 "로봇이 갑자기 모든 일을 하게 되었다"가 아니다. 더 정확히 말하면, 로봇공학이 처음으로 대규모 AI의 추론과 일반화 능력을 본격적으로 끌어오기 시작했다는 점이다.
Physical AI는 생성 AI보다 어렵다
텍스트 생성 AI가 틀린 답을 하면 사용자는 다시 물어볼 수 있다. 이미지 생성 AI가 어색한 그림을 만들면 새로 생성하면 된다. 하지만 로봇이 실수하면 상황이 다르다. 컵을 깨뜨릴 수 있고, 사람과 부딪힐 수 있으며, 비싼 부품을 망가뜨릴 수 있다. 물리 세계에서는 실패 비용이 즉시 발생한다.
이 점이 Physical AI를 특별하게 만든다. 물리 인공지능은 세 가지 제약을 동시에 다룬다.
첫째, 시간 제약이다. 현실은 모델이 생각하는 동안 멈춰 주지 않는다. 사람이 지나가고, 물체는 떨어지고, 로봇 팔은 계속 움직인다. 채팅봇은 몇 초 더 생각해도 되지만, 로봇은 늦게 판단하면 사고가 날 수 있다.
둘째, 몸의 제약이다. 로봇은 팔 길이, 관절 각도, 모터 힘, 배터리, 센서 위치의 한계를 가진다. 같은 명령이라도 휴머노이드, 바퀴형 로봇, 산업용 로봇 팔은 서로 다르게 수행해야 한다. 따라서 지능은 추상적인 생각만이 아니라 몸의 구조와 연결되어야 한다.
셋째, 안전 제약이다. 로봇은 사람과 같은 공간에서 움직일 수 있다. 그러므로 "대체로 맞는 답"으로는 부족하다. 멈춰야 할 때 멈추고, 모르는 상황을 모른다고 판단하며, 위험한 행동을 피해야 한다. 물리 인공지능에서는 성능만큼이나 신뢰성과 검증이 중요하다.
그래서 로봇의 다음 세대는 단순히 더 큰 모델을 넣는다고 완성되지 않는다. 좋은 로봇 데이터, 안정적인 제어, 빠른 추론, 안전 장치, 비용 효율적인 하드웨어가 함께 필요하다. VLA는 중요한 방향이지만, 그 자체가 모든 문제의 답은 아니다.
범용 로봇 지능을 원하는 현장들
그럼에도 수요는 커지고 있다. 이유는 분명하다. 많은 산업 현장이 더 이상 완전히 고정된 환경이 아니기 때문이다.
물류 창고에서는 상품 종류가 계속 바뀐다. 같은 상자만 집는 것이 아니라 크기와 재질이 다른 물건을 다뤄야 한다. 제조 현장에서는 다품종 소량 생산이 늘고 있다. 하나의 라인에서 여러 제품을 만들려면 로봇도 더 자주 바뀌는 작업을 처리해야 한다. 서비스 로봇은 식당, 병원, 호텔, 사무실처럼 사람의 움직임이 많은 공간에서 작동해야 한다. 가정용 로봇은 가장 어렵다. 집은 표준화되어 있지 않고, 물건은 제각각이며, 사람의 지시는 모호하다.
이런 환경에서는 작업 하나마다 로봇을 새로 프로그래밍하는 방식이 비싸고 느리다. 현장은 "특정 작업만 잘하는 로봇"보다 "새 작업을 더 빨리 배울 수 있는 로봇"을 원한다. 여기서 범용 로봇 지능에 대한 기대가 생긴다.
Physical Intelligence 같은 기업들이 "범용 AI를 물리 세계로 가져온다"는 목표를 내세우고, 다양한 로봇과 작업을 제어하는 모델을 개발한다고 설명하는 것도 같은 흐름이다3. 중요한 점은 홍보 문구 자체가 아니라 방향이다. AI 산업의 관심이 화면 속 콘텐츠 생성에서 실제 세계의 행동으로 이동하고 있다.
패러다임의 변화
로봇공학의 오래된 질문은 "로봇을 어떻게 정확하게 움직일 것인가"였다. 이 질문은 여전히 중요하다. 하지만 이제 질문이 하나 더해졌다. "로봇이 무엇을 해야 하는지 어떻게 이해하게 할 것인가?"
전통 로봇은 설계자가 세상을 미리 정리해 주면 강했다. 다음 세대 로봇은 세상이 정리되어 있지 않아도 어느 정도 이해하고 행동해야 한다. 전통 로봇은 규칙과 좌표에 의존했다. 다음 세대 로봇은 시각, 언어, 행동 데이터를 함께 학습해 새로운 상황에 적응해야 한다.
이 책에서 다룰 VLA와 Physical AI는 바로 이 전환을 설명하는 핵심 개념이다. VLA는 로봇이 보고, 듣고, 행동하는 흐름을 하나의 학습 문제로 묶는다. Physical AI는 그 행동이 실제 세계에서 일어난다는 사실을 강조한다. 둘은 함께 로봇을 다시 인공지능의 중심으로 끌어오고 있다.
다음 세대 로봇을 이해하려면 먼저 이 점을 기억해야 한다. AI의 다음 무대는 더 똑똑한 문장이나 더 그럴듯한 이미지에만 있지 않다. 그것은 물건을 잡고, 공간을 이동하고, 사람과 함께 일하며, 실패했을 때 실제 비용을 치르는 세계에 있다. 로봇은 그 세계에서 인공지능이 시험받는 가장 현실적인 형태다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.