몸이 바뀌면 지능의 문제도 바뀐다
비전-언어-행동 모델(Vision-Language-Action model, VLA)은 장면을 보고, 사람의 지시를 이해하고, 로봇 행동을 출력하는 모델이다. 하지만 VLA는 몸에서 분리된 지능이 아니다. 같은 "컵을 집어라"라는 명령도 로봇의 몸에 따라 전혀 다른 문제가 된다.
고정형 로봇 팔은 테이블 위 컵을 향해 팔을 뻗으면 된다. 이동 로봇은 먼저 컵이 있는 방까지 가야 한다. 휴머노이드는 걸어가면서 균형을 유지하고, 팔을 뻗고, 필요하면 양손으로 물체를 다뤄야 한다. 지시는 같지만 필요한 지각, 계획, 제어는 달라진다.
그래서 VLA의 핵심은 "하나의 모델이 모든 로봇을 똑같이 움직인다"가 아니다. 더 정확히는, 시각과 언어를 행동으로 바꾸는 공통 틀을 만들되 각 로봇의 몸에 맞는 행동 공간, 안전 정책, 제어 계층을 붙이는 것이다. 몸의 형태가 달라지면 지능이 쓰이는 방식도 달라진다.
AI 생성 이미지
고정형 로봇 팔: 조작 작업에 집중하는 VLA
고정형 로봇 팔은 VLA가 가장 먼저 실용성을 보이기 쉬운 형태다. 로봇의 바닥이 고정되어 있고, 작업 공간도 대체로 정해져 있다. 테이블, 컨베이어, 조립대처럼 물체가 놓이는 범위가 비교적 제한된다. 이 조건은 로봇 학습에 큰 장점이다.
고정형 로봇 팔에서 VLA는 주로 조작(manipulation) 작업을 맡는다. 조작은 물체를 집고, 옮기고, 정렬하고, 끼우고, 누르고, 분류하는 행동을 뜻한다. 예를 들어 "빨간 블록을 왼쪽 상자에 넣어라"라는 지시가 들어오면 VLA는 먼저 카메라 영상에서 빨간 블록과 왼쪽 상자를 찾는다. 그다음 어떤 물체를 잡아야 하는지, 어디로 옮겨야 하는지, 그리퍼를 언제 닫고 열어야 하는지를 행동으로 바꾼다.
이때 VLA가 반드시 모터 토크까지 직접 출력할 필요는 없다. 보통은 엔드이펙터(end-effector), 즉 로봇 팔 끝부분의 위치와 방향, 그리퍼 열림 정도 같은 중간 수준 행동을 출력한다. 실제 관절 각도와 모터 명령은 저수준 제어기가 처리한다. 이 분리는 중요하다. VLA는 "무엇을 해야 하는가"에 강하고, 제어기는 "어떻게 안정적으로 움직일 것인가"에 강하기 때문이다.
고정형 팔의 장점은 데이터 형식도 상대적으로 단순하다는 점이다. 카메라 이미지, 언어 지시, 로봇 팔의 관절 상태, 그리퍼 상태, 행동 기록을 일정한 형식으로 모으기 쉽다. 작업 실패도 비교적 안전하게 관리할 수 있다. 물체를 잘못 집거나 떨어뜨릴 수는 있지만, 이동 로봇이나 휴머노이드처럼 사람과 충돌하거나 넘어지는 위험은 상대적으로 작다.
물론 쉽다는 뜻은 아니다. 투명한 비닐, 미끄러운 금속, 부드러운 천, 작은 부품처럼 잡기 어려운 물체는 여전히 까다롭다. 조립 작업에서는 1~2밀리미터의 오차도 실패로 이어질 수 있다. 따라서 고정형 팔의 VLA는 의미 이해만으로 충분하지 않다. 정확한 위치 추정, 접촉 감지, 힘 조절, 실패 후 재시도 전략이 함께 필요하다.
모바일 매니퓰레이터: 이동과 조작을 함께 풀어야 한다
모바일 매니퓰레이터(mobile manipulator)는 이동 가능한 바퀴형 베이스 위에 로봇 팔이 붙은 형태다. 고정형 팔보다 작업 범위가 넓다. 창고를 돌아다니며 물건을 집거나, 병원 복도를 이동하며 물품을 전달하거나, 가정 안에서 방을 옮겨 다니며 정리 작업을 할 수 있다.
하지만 몸이 움직일 수 있다는 장점은 동시에 문제를 크게 만든다. 이제 VLA는 단순히 물체를 집는 것만 결정하면 안 된다. 어디로 가야 하는지, 어떤 경로가 안전한지, 현재 위치가 어디인지, 이전에 본 물체가 어디에 있었는지 기억해야 한다. 즉 내비게이션(navigation, 목적지까지 이동하는 기술)과 조작을 하나의 흐름으로 연결해야 한다.
예를 들어 "부엌에 있는 컵을 식탁 위에 가져다줘"라는 명령을 생각해 보자. 로봇은 먼저 부엌이 어디인지 알아야 한다. 이동 중에는 사람, 의자, 문턱, 열린 서랍 같은 장애물을 피해야 한다. 부엌에 도착한 뒤에는 컵을 찾아야 하고, 컵이 보이지 않으면 시야를 바꾸거나 다른 위치를 확인해야 한다. 컵을 집은 뒤에는 식탁까지 돌아가고, 적절한 위치에 내려놓아야 한다.
이런 작업에는 장기 계획(long-horizon planning)이 필요하다. 장기 계획은 하나의 큰 목표를 여러 단계로 나누어 실행하는 능력이다. "컵 가져오기"는 실제로는 "부엌으로 이동하기 → 컵 찾기 → 컵 잡기 → 식탁으로 이동하기 → 컵 내려놓기"로 나뉜다. 각 단계에서 실패 가능성도 있다. 컵이 없을 수 있고, 경로가 막힐 수 있고, 잡은 컵이 미끄러질 수 있다.
따라서 모바일 매니퓰레이터의 VLA에는 공간 기억(spatial memory)이 중요하다. 공간 기억은 로봇이 지나온 장소, 물체 위치, 장애물, 목표 지점을 내부 지도처럼 저장하고 다시 사용하는 능력이다. Physical Intelligence의 MEM 연구는 주방 정리나 요리 준비처럼 시간이 긴 작업을 예로 들며, 짧은 구간의 시각 기억과 긴 구간의 언어 기반 기억을 함께 쓰는 방향을 제시한다1. 이 사례가 중요한 이유는 단순히 "청소를 한다"는 데 있지 않다. 로봇이 한 장면에서 끝나는 조작을 넘어, 여러 공간을 이동하며 상황을 기억하고 작업 순서를 유지해야 한다는 점을 보여주기 때문이다.
모바일 매니퓰레이터에서는 안전 정책도 달라진다. 고정형 팔은 주로 팔 주변의 충돌을 피하면 된다. 이동 로봇은 주행 중 사람과 부딪히지 않아야 하고, 팔을 펼친 상태에서 좁은 통로를 지나가면 안 된다. 팔과 바퀴가 따로 움직이면 안정성 문제가 생길 수도 있다. 그래서 이동과 조작은 별개 모듈이 아니라 서로 조건을 주고받아야 한다. "가까이 가서 집기"는 쉬운 말이지만, 실제 시스템에서는 접근 거리, 팔의 도달 범위, 카메라 시야, 장애물 위치가 함께 맞아야 한다.
휴머노이드: 전신을 가진 VLA의 어려움
휴머노이드(humanoid)는 사람과 비슷한 몸 형태를 가진 로봇이다. 두 팔, 두 다리, 몸통, 머리, 손가락을 갖춘 경우가 많다. 이 형태의 장점은 분명하다. 사람을 위해 설계된 공간을 그대로 사용할 가능성이 있다. 계단, 문손잡이, 싱크대, 선반, 냉장고, 도구 대부분은 사람의 키와 팔, 손을 기준으로 만들어졌다.
그러나 휴머노이드는 VLA 적용이 가장 어려운 형태이기도 하다. 이유는 자유도(degrees of freedom, 로봇이 독립적으로 움직일 수 있는 관절 또는 운동 축의 수)가 많기 때문이다. 고정형 팔이 6~7자유도라면, 휴머노이드는 팔, 손가락, 목, 허리, 다리를 포함해 훨씬 많은 자유도를 가진다. 자유도가 많다는 것은 더 다양한 행동이 가능하다는 뜻이지만, 동시에 선택해야 할 행동 조합이 폭발적으로 많아진다는 뜻이다.
휴머노이드의 작업은 보행과 조작이 분리되지 않는다. 이를 보행-조작(loco-manipulation)이라고 부른다. 로봇은 걸어가면서 균형을 유지하고, 상체를 기울이고, 팔을 뻗고, 손가락을 조절해야 한다. 무거운 물건을 들면 무게중심이 바뀐다. 한 손으로 문을 열면 다른 손이나 발의 위치가 안정성에 영향을 준다. 사람에게는 자연스러운 동작이지만 로봇에게는 지각, 계획, 제어가 밀접하게 얽힌 고난도 문제다.
최근 휴머노이드 VLA 사례들은 이 어려움을 해결하기 위해 빠른 저수준 제어와 느린 고수준 추론을 나누는 방향을 보인다. Figure의 Helix는 장면 이해와 언어 해석을 담당하는 비교적 느린 시스템과, 상체와 손가락의 연속 제어를 빠르게 수행하는 시스템을 나눈 구조로 설명된다2. 공식 설명에 따르면 느린 시스템은 7~9Hz 수준으로 장면과 지시를 해석하고, 빠른 시스템은 200Hz 수준으로 상체 전체의 연속 행동을 출력한다. 여기서 중요한 점은 속도가 다른 두 종류의 판단을 억지로 하나의 시간표에 넣지 않는다는 것이다.
NVIDIA의 Isaac GR00T N1.6도 비슷한 문제의식을 보여준다. GR00T N1.6은 시각, 언어, 로봇 상태를 함께 입력받는 VLA 모델과 시뮬레이션 기반 학습, 내비게이션, 전신 제어 요소를 결합해 휴머노이드의 보행-조작과 장면 기반 행동을 다루는 스택으로 소개된다3. 즉 "언어를 이해하는 모델 하나가 곧바로 모든 관절을 완벽하게 움직인다"기보다는, 고수준 판단과 물리적으로 안정적인 전신 제어를 연결하는 전체 파이프라인이 중요하다는 쪽에 가깝다.
이 분리는 휴머노이드에서 특히 중요하다. VLA가 "저 컵을 들어라"라고 판단하더라도, 실제 몸은 넘어지지 않아야 한다. 발의 위치, 무릎 각도, 허리 기울기, 손목 방향, 손가락 힘이 동시에 맞아야 한다. 고수준 모델이 모든 관절의 미세한 움직임을 직접 결정하려 하면 계산도 어렵고 안전성도 떨어진다. 그래서 휴머노이드에서는 VLA가 목표와 조건을 정하고, 전신 제어기가 물리적으로 가능한 움직임으로 변환하는 계층 구조가 필요하다.
Google DeepMind의 Gemini Robotics 1.5도 여러 로봇 형태에 걸쳐 시각·언어 입력을 행동으로 바꾸고, 복잡한 작업을 단계로 나누는 능력을 강조한다4. 특히 Gemini Robotics-ER 1.5가 물리 환경에 대한 고수준 추론과 계획을 맡고, Gemini Robotics 1.5가 각 단계의 지시를 로봇 행동으로 옮기는 식의 에이전트형 구성이 소개된다. 이런 접근의 의미는 하나의 모델이 모든 몸을 마법처럼 제어한다는 것이 아니다. 공통의 시각·언어 추론 능력을 여러 몸체에 맞게 옮기려는 시도라는 점이 중요하다. 휴머노이드에서는 이 전이가 특히 어렵다. 팔만 움직이는 데이터와 전신 균형을 포함한 데이터는 같은 행동처럼 보여도 물리적으로 다른 문제이기 때문이다.
형태가 데이터와 안전 정책을 바꾼다
로봇의 형태는 데이터 형식을 바꾼다. 고정형 팔 데이터에는 카메라 영상, 팔 관절 상태, 그리퍼 상태, 물체 위치가 핵심이다. 모바일 매니퓰레이터 데이터에는 여기에 로봇의 위치, 지도, 이동 경로, 장애물 정보가 추가된다. 휴머노이드 데이터에는 발 접촉, 몸의 기울기, 무게중심, 손가락 관절, 양손 협응, 보행 상태가 들어가야 한다.
행동 공간(action space)도 달라진다. 행동 공간은 모델이 선택할 수 있는 행동의 범위다. 고정형 팔은 "팔 끝을 x, y, z 방향으로 조금 이동하고 그리퍼를 닫기" 같은 출력으로도 많은 작업을 할 수 있다. 모바일 매니퓰레이터는 여기에 "앞으로 이동, 회전, 정지" 같은 베이스 명령이 필요하다. 휴머노이드는 전신 자세와 보행 안정성까지 포함해야 한다.
안전 정책도 몸에 따라 달라진다. 고정형 팔의 주요 위험은 충돌, 끼임, 물체 파손이다. 모바일 매니퓰레이터는 주행 중 충돌과 사람 주변 행동이 중요하다. 휴머노이드는 넘어짐, 무게중심 상실, 양팔 작업 중 접촉 사고까지 고려해야 한다. 같은 VLA라도 출력 전에 거쳐야 하는 안전 필터와 제어 제한이 다를 수밖에 없다.
따라서 범용 VLA를 만들려면 "모든 로봇에 같은 행동 출력을 쓰자"보다 "서로 다른 몸이 공유할 수 있는 표현과, 몸마다 다른 제어 인터페이스를 분리하자"가 현실적이다. 언어 지시와 장면 이해는 공유할 수 있다. 하지만 행동은 각 로봇의 몸에 맞게 번역되어야 한다.
범용 로봇이 경제성을 가지려면
범용 로봇은 특정 작업만 반복하는 전용 로봇보다 매력적으로 보인다. 한 대의 로봇이 물건 정리, 운반, 간단한 조립, 재고 확인, 청소 보조를 모두 할 수 있다면 경제성이 커질 수 있다. 하지만 범용성이 곧바로 경제성을 보장하지는 않는다.
첫째, 충분히 높은 가동률이 필요하다. 로봇이 여러 작업을 할 수 있어도 대부분의 시간을 대기한다면 비싼 장비일 뿐이다. 둘째, 작업 전환 비용이 낮아야 한다. 새로운 물체, 새로운 공간, 새로운 지시가 들어올 때마다 긴 재학습이나 엔지니어링이 필요하면 범용의 의미가 약해진다. 셋째, 실패 복구 능력이 있어야 한다. 실제 현장에서는 물체가 쓰러지고, 사람이 끼어들고, 조명이 바뀌고, 문이 닫힌다. 이때 멈춰서 사람을 부르는 일이 너무 잦으면 운영 비용이 커진다.
넷째, 안전 인증과 유지보수가 가능해야 한다. 특히 모바일 로봇과 휴머노이드는 사람과 같은 공간에서 움직일 가능성이 높다. 평균 성공률이 높다는 것만으로는 부족하다. 어떤 상황에서 멈추는지, 힘을 얼마나 제한하는지, 실패 기록을 어떻게 남기는지, 업데이트 후 성능이 어떻게 검증되는지가 중요하다.
결국 범용 로봇의 경제성은 모델 성능만이 아니라 전체 시스템의 문제다. VLA는 로봇이 새로운 지시와 장면을 이해하게 만드는 핵심 기술이다. 그러나 실제 가치는 센서, 제어기, 안전 장치, 데이터 파이프라인, 유지보수 체계와 결합될 때 나온다.
이 장의 핵심은 단순하다. 같은 VLA라도 몸이 달라지면 지능의 역할이 달라진다. 고정형 팔에서는 정밀 조작이 중심이다. 모바일 매니퓰레이터에서는 이동, 기억, 장기 계획이 중요해진다. 휴머노이드에서는 양손 조작, 균형, 보행, 전신 제어가 함께 풀려야 한다. 다음 세대 로봇의 경쟁력은 더 큰 모델 하나가 아니라, 몸의 제약을 이해하는 지능에서 결정될 것이다.
참고
1VLAs with Long and Short-Term Memory, Physical Intelligence
2Helix: A Vision-Language-Action Model for Generalist Humanoid Control
3Building Generalist Humanoid Capabilities with NVIDIA Isaac GR00T N1.6 Using a Sim-to-Real Workflow
4Gemini Robotics 1.5 brings AI agents into the physical world
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.