세 단어가 하나의 흐름이 될 때
비전-언어-행동 모델(Vision-Language-Action model, VLA)은 로봇이 보고, 이해하고, 행동하는 과정을 하나의 모델 흐름으로 묶으려는 접근이다. 이름 그대로 세 부분으로 나뉜다.
첫째, 비전(Vision)은 카메라 이미지나 영상에서 물체, 사람, 공간 배치, 장애물 같은 정보를 읽는 역할을 한다. 로봇 팔 앞에 컵이 있는지, 컵 손잡이가 어느 방향을 향하는지, 테이블 끝이 어디인지 파악하는 과정이다.
둘째, 언어(Language)는 사람이 준 자연어 명령을 해석한다. "빨간 컵을 집어 싱크대에 놓아 줘"라는 말에서 목표 물체가 무엇인지, 어떤 동작이 필요한지, 최종 위치가 어디인지를 이해한다.
셋째, 행동(Action)은 그 이해를 실제 움직임으로 바꾼다. 로봇 팔을 어느 방향으로 얼마나 움직일지, 손목을 얼마나 회전할지, 그리퍼(gripper, 물체를 집는 로봇 손)를 언제 닫고 열지를 결정한다.
이 세 요소가 따로따로 존재한다면 로봇은 여전히 조립식 시스템에 머문다. 카메라는 물체를 찾고, 언어 모듈은 문장을 해석하고, 제어기는 미리 짜인 경로를 따라 움직인다. VLA의 핵심은 이들을 느슨하게 이어 붙이는 것이 아니라, 시각과 언어가 행동 생성으로 이어지는 하나의 의사결정 흐름을 만드는 데 있다. 여러 연구에서 VLA는 시각 입력과 언어 목표를 함께 받아 실행 가능한 로봇 행동을 생성하는 모델로 정의된다.1
AI 생성 이미지
입력: 로봇은 무엇을 보고 무엇을 듣는가
VLA의 입력은 보통 두 가지에서 시작한다. 하나는 카메라 이미지다. 다른 하나는 자연어 명령이다.
카메라 이미지는 로봇의 눈에 해당한다. 고정 카메라가 작업대를 내려다볼 수도 있고, 로봇 손목에 달린 카메라가 물체 가까이에서 장면을 볼 수도 있다. 모바일 로봇이라면 전방 카메라, 깊이 카메라, 라이다 같은 센서가 함께 쓰일 수 있다. 여기서 중요한 것은 이미지가 단순한 사진이 아니라는 점이다. 로봇에게 이미지는 "지금 행동해야 할 세계의 상태"다.
언어 명령은 목표를 준다. 같은 장면이라도 명령이 달라지면 행동은 완전히 달라진다. 테이블 위에 컵과 수건이 있을 때 "컵을 집어"와 "수건을 치워"는 다른 물체, 다른 잡는 방식, 다른 이동 경로를 요구한다. 그래서 VLA는 이미지와 문장을 따로 보지 않는다. 장면 속에서 명령과 관련 있는 부분을 골라내야 한다.
예를 들어 사용자가 "파란 블록을 노란 상자 안에 넣어"라고 말한다고 하자. 비전은 파란 블록과 노란 상자를 찾아야 한다. 언어는 '파란'이 블록을 수식하고, '노란'이 상자를 수식하며, '넣다'가 집기와 이동, 놓기를 포함하는 작업임을 이해해야 한다. 이 둘이 결합되어야 로봇은 엉뚱한 블록을 집거나 상자 옆에 내려놓는 실수를 줄일 수 있다.
공통 표현 공간: 이미지와 문장을 같은 지도 위에 놓기
VLA 내부에서는 이미지와 문장이 그대로 행동으로 바뀌지 않는다. 먼저 두 입력은 모델이 다룰 수 있는 숫자 형태로 변환된다. 이때 사용되는 구성 요소가 인코더(encoder)다. 인코더는 입력을 압축해 의미 있는 특징으로 바꾸는 장치라고 이해하면 된다.
이미지 인코더는 픽셀을 보고 물체의 모양, 위치, 관계를 추출한다. 언어 인코더는 문장을 보고 목표, 대상, 조건을 추출한다. 이후 두 정보는 공통 표현 공간(shared representation space) 또는 잠재 표현(latent representation)으로 모인다. 쉽게 말해, 이미지의 의미와 문장의 의미를 같은 좌표계 위에 올려놓는 것이다.
비유하자면, 서로 다른 언어로 쓰인 두 장의 메모를 하나의 작업 지시서로 번역하는 과정과 비슷하다. 카메라 이미지는 "테이블 왼쪽에 빨간 컵이 있음"을 말하고, 언어 명령은 "빨간 컵을 집어 오른쪽 선반에 놓기"를 말한다. 공통 표현 공간은 이 둘을 합쳐 "집어야 할 대상은 현재 왼쪽에 있는 빨간 컵이고, 목표 위치는 오른쪽 선반"이라는 내부 상태로 만든다.
이 결합 방식은 모델마다 다르다. 어떤 모델은 이미지 특징과 언어 토큰(token, 모델이 처리하는 작은 정보 단위)을 이어 붙인다. 어떤 모델은 서로를 참조하게 하는 교차 주의(cross-attention, 한 정보가 다른 정보에서 중요한 부분을 고르는 방식)를 사용한다. 어떤 모델은 시각, 언어, 행동을 모두 토큰처럼 다루기도 한다. 방식은 달라도 목적은 같다. 로봇이 "무엇을 해야 하는지"를 장면 안에서 찾게 하는 것이다.
행동 디코더: 이해를 움직임으로 바꾸는 부분
공통 표현만으로는 로봇이 움직이지 않는다. "컵을 집어라"는 이해가 있어도, 로봇 팔의 각 관절을 어떻게 움직일지는 아직 정해지지 않았다. 여기서 필요한 것이 행동 디코더(action decoder)다. 디코더(decoder)는 내부 표현을 원하는 출력으로 바꾸는 장치다. VLA에서 그 출력은 문장이 아니라 행동이다.
행동은 여러 형태로 표현될 수 있다. 로봇 팔이라면 말단효과기(end effector, 로봇 팔 끝에서 실제 작업을 수행하는 부분)의 위치 변화가 중요하다. 예를 들어 다음과 같은 값들이 행동 출력이 될 수 있다.
x, y, z 방향으로 얼마나 이동할지
손목을 어느 방향으로 얼마나 회전할지
그리퍼를 열지 닫을지
현재 동작을 계속할지 멈출지
실제 연구와 구현에서는 이러한 행동을 연속값으로 바로 예측하기도 하고, 여러 개의 행동 토큰으로 나누어 예측하기도 한다. 일부 모델은 로봇 팔의 위치 변화, 회전 변화, 그리퍼 상태 같은 값을 출력하며, 이 값은 다시 로봇 하드웨어가 이해할 수 있는 제어 명령으로 변환된다.2
중요한 점은 VLA의 출력이 "정답 문장"이 아니라는 것이다. 출력은 로봇의 다음 움직임이다. 따라서 작은 오차도 물리적 결과를 만든다. 텍스트 모델이 단어 하나를 틀리면 문장이 어색해질 수 있다. 그러나 로봇 팔이 5센티미터 잘못 움직이면 컵을 놓치거나 사람의 손과 부딪힐 수 있다. VLA에서 행동 디코더가 중요한 이유가 여기에 있다.
저수준 제어로 내려가는 과정
VLA가 행동을 예측했다고 해서 모터가 곧바로 움직이는 것은 아니다. 대부분의 로봇 시스템은 VLA의 출력을 다시 저수준 제어(low-level control)로 바꾼다. 저수준 제어란 모터 속도, 관절 각도, 힘, 토크처럼 하드웨어에 가까운 명령을 계산하는 단계다.
예를 들어 VLA가 "로봇 손끝을 앞으로 3센티미터, 아래로 2센티미터 이동하고 그리퍼를 닫아라"에 해당하는 행동을 출력했다고 하자. 제어기는 이를 각 관절의 목표 각도로 바꾼다. 어깨 관절은 얼마만큼 돌고, 팔꿈치는 얼마나 접고, 손목은 어느 각도로 유지할지 계산한다. 그 다음 모터 제어기가 실제 전류와 속도를 조절한다.
모바일 로봇도 비슷하다. VLA가 "문 쪽으로 이동한 뒤 왼쪽으로 돌아라"는 고수준 행동을 만들 수 있다면, 주행 제어기는 이를 바퀴 속도, 회전 반경, 장애물 회피 경로로 바꾼다. 사족보행 로봇이라면 출력은 다리의 보행 패턴과 몸의 균형 제어로 이어진다.
따라서 VLA는 로봇 전체 시스템의 '두뇌'에 가깝지만, 모든 것을 혼자 처리하지는 않는다. 특히 안전이 중요한 시스템에서는 VLA가 낸 행동을 그대로 실행하지 않고, 충돌 검사, 속도 제한, 힘 제한, 비상 정지 조건을 거친다. 로봇은 물리 세계에서 움직이기 때문에 지능과 제어 사이에 안전 장치가 필요하다.
VLM과 VLA의 결정적 차이
기존의 비전-언어 모델(Vision-Language Model, VLM)은 이미지와 텍스트를 함께 이해하는 데 강하다. 사진을 보고 "테이블 위에 컵이 있다"고 설명하거나, "이 장면에서 위험한 점은 무엇인가?"라는 질문에 답할 수 있다. 이것만으로도 유용하다. 하지만 로봇에게는 한 단계가 더 필요하다.
VLM은 주로 설명하기에 머문다. VLA는 실행하기까지 간다.
이 차이는 단순해 보이지만 매우 크다. "컵이 테이블 위에 있다"는 문장을 생성하는 것과, 실제로 컵을 집어 안전하게 옮기는 것은 전혀 다른 문제다. 후자는 물체의 위치, 마찰, 무게중심, 그리퍼의 접촉, 주변 장애물, 시간에 따른 변화까지 다뤄야 한다. VLA가 기존 VLM에서 한 걸음 더 나아간 지점은 바로 행동 생성과 물리적 실행을 모델 구조 안에 포함한다는 데 있다.3
물론 VLA가 모든 문제를 해결했다는 뜻은 아니다. 모델이 장면을 잘못 이해하면 행동도 잘못된다. 학습 데이터에 없던 도구나 환경에서는 성능이 떨어질 수 있다. 같은 "집어라"라는 명령도 물체가 종이컵인지 유리컵인지, 비어 있는지 가득 찼는지에 따라 힘 조절이 달라져야 한다. 그래서 VLA는 강력한 인터페이스이지만, 아직 완성된 범용 로봇 지능은 아니다.
핵심은 '의미 있는 행동'이다
VLA를 이해할 때 가장 중요한 질문은 이것이다. 모델이 장면을 얼마나 잘 설명하는가가 아니라, 그 설명이 올바른 행동으로 이어지는가.
로봇에게 시각은 세계를 보는 통로다. 언어는 목표를 전달하는 통로다. 행동은 그 목표를 현실에 남기는 방식이다. VLA는 이 세 통로를 하나로 연결한다. 그래서 VLA는 단순한 멀티모달 모델이 아니라, Physical AI를 실제 로봇 시스템으로 옮기기 위한 핵심 인터페이스다.
앞으로의 장에서는 이 구조가 더 깊어질 것이다. 시각과 언어를 어떤 표현으로 합칠지, 행동 디코더를 어떻게 설계할지, 부족한 로봇 데이터를 어떻게 모을지, 시뮬레이션에서 배운 행동을 현실로 어떻게 옮길지가 차례로 문제가 된다. 하지만 출발점은 단순하다. VLA는 로봇이 보고, 이해하고, 움직이게 만드는 구조다.
참고
1Vision-Language-Action (VLA) Models: Concepts, Progress, Applications and Challenges
2Vision Language Action Models (VLA) Overview: LeRobot Policies Demo
3Vision-language-action models are the next leap in autonomous robotics
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.