좋은 행동은 좋은 표현에서 시작된다
로봇이 "빨간 컵을 집어라"라는 지시를 받았다고 해보자. 사람에게는 쉬운 말이다. 하지만 로봇에게는 여러 질문이 한꺼번에 생긴다. 어느 물체가 컵인가. 그중 빨간 것은 무엇인가. 컵은 카메라 화면의 어느 위치에 있고, 실제 공간에서는 로봇으로부터 얼마나 떨어져 있는가. 로봇 손은 지금 어디에 있으며, 컵을 잡기 위해 어떤 방향으로 접근해야 하는가. 컵이 미끄러운지, 비어 있는지, 너무 세게 잡으면 찌그러지는지도 중요하다.
이 질문에 답하려면 로봇은 세상을 단순한 이미지나 문장으로만 보지 않아야 한다. 행동에 필요한 형태로 바꾸어 이해해야 한다. 이것이 멀티모달 표현 학습(multimodal representation learning)이다. 여러 종류의 입력, 즉 이미지, 언어, 깊이, 촉각, 관절 상태, 힘 센서 정보를 함께 받아 로봇 행동에 쓸 수 있는 내부 표현으로 바꾸는 학습이다.
여기서 표현(representation)은 원본 데이터를 그대로 저장한 것이 아니다. 행동에 필요한 핵심만 압축한 이해 방식이다. 사람도 컵을 잡을 때 컵 표면의 모든 픽셀을 하나하나 계산하지 않는다. 대략적인 위치, 모양, 손잡이, 잡을 수 있는 부분, 주변 장애물을 본다. 로봇의 표현도 마찬가지다. 좋은 표현은 "무엇이 있는가"에서 멈추지 않고 "내 몸으로 무엇을 할 수 있는가"까지 이어져야 한다.
VLA에서 표현 학습이 중요한 이유가 여기에 있다. 행동 디코더가 아무리 좋아도, 앞단의 표현이 흐릿하면 좋은 행동은 나오기 어렵다. 컵과 장난감을 구분하지 못하거나, 컵의 실제 거리를 잘못 이해하거나, 로봇 손의 현재 자세를 반영하지 못하면 명령은 곧바로 실패로 이어진다.
AI 생성 이미지
센서들은 같은 세계를 다르게 본다
로봇은 여러 센서로 하나의 세계를 본다. 하지만 각 센서는 서로 다른 방식으로 세계를 측정한다.
RGB 이미지(RGB image)는 색과 질감을 잘 보여준다. 빨간 컵, 파란 상자, 금속 표면처럼 눈에 보이는 특징을 구분하는 데 유리하다. 그러나 RGB 이미지만으로는 거리를 정확히 알기 어렵다. 컵이 작아서 멀리 있는 것인지, 실제로 작은 컵인지 헷갈릴 수 있다.
깊이 정보(depth information)는 카메라에서 물체까지의 거리를 알려준다. 이를 이용하면 화면 속 픽셀을 실제 3차원 위치로 바꿀 수 있다. 하지만 깊이 센서는 반사되는 물체, 투명한 컵, 어두운 표면에서 오류를 내기 쉽다. 구멍처럼 비어 있는 값이 생기기도 한다.
촉각(tactile sensing)은 로봇 손끝이 물체와 닿았을 때의 압력, 접촉 위치, 미끄러짐을 알려준다. 시각으로는 알기 어려운 정보를 준다. 예를 들어 컵을 이미 잡았는지, 잡았지만 미끄러지고 있는지, 너무 세게 누르고 있는지를 판단할 수 있다. 최근 VLA 연구에서도 촉각 정보를 시각·언어·행동과 결합해 접촉이 중요한 작업의 일반화 가능성을 높이려는 시도가 이어지고 있다.1
관절 상태(proprioception)는 로봇 자신의 몸 상태를 말한다. 각 관절이 몇 도로 꺾여 있는지, 팔 끝이 어느 위치에 있는지, 그리퍼가 얼마나 열려 있는지 같은 정보다. 사람으로 치면 눈을 감고도 자신의 팔 위치를 대략 아는 감각에 가깝다.
힘 센서(force sensor)는 물체를 밀거나 잡을 때 생기는 힘을 측정한다. 무거운 물체를 들 때, 문을 열 때, 부드러운 물체를 잡을 때 중요하다.
문제는 이 데이터들이 같은 속도와 크기로 들어오지 않는다는 점이다. 카메라는 초당 수십 장의 이미지를 보낼 수 있고, 힘 센서는 훨씬 더 빠르게 변하는 값을 낼 수 있다. 언어 명령은 한 번 들어오지만, 관절 상태는 계속 바뀐다. RGB 이미지는 픽셀 좌표를 쓰고, 깊이 정보는 3차원 거리로 해석되며, 관절 상태는 로봇 몸의 좌표계에 묶여 있다.
따라서 멀티모달 표현 학습은 단순히 데이터를 한곳에 쌓는 일이 아니다. 서로 다른 시간, 공간, 좌표계를 맞추는 일이다. 카메라에서 본 컵 위치를 로봇 팔 기준 좌표로 바꾸고, 그 순간의 관절 상태와 결합하며, 접촉 이후에는 촉각과 힘 정보를 다시 반영해야 한다. 좋은 표현은 이 불일치를 줄여 행동 가능한 상태로 정리한다.
언어의 모호성은 장면 속에서 풀린다
언어 명령은 강력하지만 모호하다. "컵을 치워"라는 말은 컵을 싱크대로 옮기라는 뜻일 수도 있고, 책상 가장자리에서 안쪽으로 밀라는 뜻일 수도 있다. "빨간 컵을 집어라"도 장면에 빨간 컵이 하나일 때와 두 개일 때 의미가 달라진다.
VLA는 언어만 따로 해석하지 않는다. 언어를 시각 장면과 결합해 해석한다. 이를 접지(grounding)라고 한다. 접지는 단어를 실제 세계의 대상과 연결하는 과정이다. "빨간"은 이미지 속 색상 특징과 연결되고, "컵"은 물체의 형태와 용도에 연결된다. "집어라"는 잡기 가능한 위치와 그리퍼 동작으로 이어진다.
예를 들어 테이블 위에 빨간 컵, 빨간 공, 파란 컵이 있다고 하자. 언어만 보면 "빨간 컵"은 색과 물체 범주를 모두 만족해야 한다. 시각만 보면 물체가 여러 개일 뿐이다. 모델은 두 정보를 함께 보며 빨간색이면서 컵 모양인 대상을 선택한다. 여기에 깊이 정보가 붙으면 그 대상의 실제 위치를 계산할 수 있고, 관절 상태가 붙으면 현재 로봇 손이 그 위치에 도달할 수 있는지 판단할 수 있다.
이 과정에서 중요한 것은 언어가 정답을 모두 주지 않는다는 사실이다. 언어는 목표와 조건을 준다. 실제 실행 가능성은 장면과 로봇 몸이 결정한다. 그래서 표현 학습은 "문장을 이해하는 능력"과 "장면을 해석하는 능력"을 하나의 행동 문제 안에서 묶어야 한다.
객체, 관계, 토큰: 세상을 표현하는 세 가지 방식
로봇이 세상을 내부적으로 표현하는 방식에는 여러 접근이 있다. 대표적으로 객체 중심 표현, 장면 그래프, 토큰 기반 표현이 있다. 세 방식은 서로 경쟁 관계라기보다, 서로 다른 장단점을 가진 도구에 가깝다.
객체 중심 표현(object-centric representation)은 세상을 물체 단위로 나누어 이해한다. 컵, 접시, 상자, 문손잡이처럼 조작 대상이 되는 단위를 찾고, 각 물체의 위치, 크기, 방향, 속성을 저장한다. 이 방식은 조작 작업에 직관적이다. 로봇이 결국 집고, 밀고, 놓는 대상은 대개 물체이기 때문이다.
장점은 명확하다. "빨간 컵"이라는 명령을 받았을 때 빨간색 속성을 가진 컵 객체를 찾으면 된다. 계획도 비교적 단순해진다. 컵을 잡고, 들어 올리고, 목표 위치에 놓는 식으로 단계화하기 쉽다. 단점은 물체를 제대로 나누지 못하면 전체 표현이 무너진다는 점이다. 투명한 컵, 겹쳐 있는 물체, 천처럼 형태가 계속 변하는 물체는 객체 단위로 깔끔하게 나누기 어렵다.
장면 그래프(scene graph)는 물체와 물체 사이의 관계를 함께 표현한다. 그래프는 점과 선으로 된 구조다. 점은 물체이고, 선은 관계다. 예를 들어 "컵은 테이블 위에 있다", "숟가락은 접시 옆에 있다", "상자는 로봇 왼쪽에 있다"처럼 표현한다.
장면 그래프는 계획에 유리하다. "컵을 상자 안에 넣어라"라는 명령은 컵, 상자, 안쪽이라는 관계를 이해해야 한다. "노트북 위의 케이블을 치워라"처럼 관계가 중요한 지시도 많다. 다만 장면 그래프는 연속적인 물리 정보를 잃기 쉽다. "옆에 있다"는 관계만으로는 정확히 몇 센티미터 떨어져 있는지, 어느 각도로 접근해야 하는지 알기 어렵다. 그래서 실제 조작에는 기하 정보와 함께 써야 한다.
토큰 기반 표현(token-based representation)은 이미지 조각, 단어, 로봇 상태, 과거 행동을 모두 작은 단위인 토큰으로 바꾸어 처리한다. 토큰(token)은 모델이 다루기 쉬운 정보 조각이다. 문장을 단어 조각으로 나누듯, 이미지를 패치로 나누고, 로봇 상태나 행동도 숫자 토큰으로 바꿀 수 있다.
이 방식은 현대 VLA에서 중요하다. 트랜스포머(Transformer) 계열 모델은 많은 토큰 사이의 관계를 학습하는 데 강하다. 이미지 토큰, 언어 토큰, 로봇 상태 토큰을 한 모델 안에 넣으면, 모델은 어떤 단어가 어떤 이미지 영역과 관련되는지, 어떤 장면에서 어떤 행동이 나왔는지를 함께 학습할 수 있다. 실제 VLA 연구에서도 어떤 시각·언어 백본을 쓰는지, 행동을 어떤 형식으로 표현하는지, 여러 로봇의 데이터를 어떻게 섞는지 같은 설계 선택이 성능에 큰 영향을 주는 요소로 다뤄지고 있다.2
하지만 토큰 기반 표현에도 한계가 있다. 모든 것을 토큰으로 바꾸면 유연하지만, 정밀한 위치와 힘 제어가 흐려질 수 있다. 토큰 수가 많아지면 계산 비용도 커진다. 또한 내부 표현이 사람이 보기에는 불투명해진다. 왜 특정 컵을 선택했는지 설명하기 어려울 수 있다.
"빨간 컵"이 실제 좌표가 되기까지
멀티모달 임베딩(multimodal embedding)은 서로 다른 종류의 정보를 모델이 함께 비교하고 결합할 수 있는 숫자 공간으로 옮기는 과정이다. 임베딩(embedding)은 단어나 이미지, 센서 값을 모델이 계산하기 쉬운 숫자 벡터로 바꾼 것이다. 여기서 중요한 점은 단순히 숫자로 바꾸는 것이 아니라, 서로 관련된 정보가 가까이 놓이도록 학습한다는 것이다.
"빨간 컵을 집어라"라는 명령이 들어오면 먼저 문장이 언어 토큰으로 나뉜다. 모델은 "빨간", "컵", "집어라"가 각각 색, 대상, 행동 조건과 관련된다는 것을 학습해 둔다. 동시에 카메라 이미지는 시각 토큰으로 바뀐다. 깊이 정보가 있다면 각 시각 영역이 실제 공간에서 어느 거리와 형태를 갖는지 보완한다.
그다음 모델은 언어 토큰과 시각 토큰을 맞춘다. "빨간"과 관련된 이미지 영역, "컵"과 관련된 물체 형태가 함께 강해진다. 이때 파란 컵은 컵이지만 색 조건에서 제외되고, 빨간 공은 빨갛지만 물체 범주에서 제외된다. 조건이 모두 맞는 영역이 조작 대상으로 떠오른다.
이 대상이 정해지면 픽셀 위치는 깊이 정보와 카메라 보정을 거쳐 3차원 좌표로 바뀐다. 그러나 로봇은 카메라 좌표로 움직이지 않는다. 로봇 팔의 기준 좌표, 즉 베이스 좌표로 다시 변환해야 한다. 여기에 현재 관절 상태가 결합된다. 같은 컵이라도 로봇 팔이 접혀 있는지, 이미 다른 물체를 잡고 있는지에 따라 가능한 접근 경로가 달라진다.
마지막으로 표현은 행동 디코더가 사용할 수 있는 형태가 된다. 예를 들어 "대상: 빨간 컵", "위치: 로봇 기준 앞쪽 42센티미터", "접근 방향: 위에서 아래로", "그리퍼 폭: 컵 지름보다 약간 넓게", "주의: 주변에 접시 있음" 같은 정보가 내부적으로 구성될 수 있다. 실제 모델이 사람이 읽는 문장으로 저장하는 것은 아니지만, 행동에 필요한 의미와 기하 정보가 결합되어야 한다는 점은 같다.
만약 로봇이 컵을 잡은 뒤 미끄러짐을 감지한다면 표현은 다시 갱신된다. 촉각과 힘 센서가 "잡았지만 안정적이지 않다"는 신호를 보내고, 모델은 그리퍼 힘을 조금 높이거나 손가락 위치를 조정해야 한다. 이처럼 로봇 표현은 한 번 만들어지고 끝나는 것이 아니라, 행동 중에도 계속 바뀌어야 한다.
행동 가능한 표현의 조건
로봇을 위한 좋은 표현에는 몇 가지 조건이 있다.
첫째, 작업과 관련 있어야 한다. 모든 픽셀을 똑같이 중요하게 다루면 계산은 커지고 판단은 흐려진다. 컵을 집는 작업에서는 컵, 장애물, 손의 위치가 중요하다. 벽지 무늬나 멀리 있는 의자는 덜 중요하다.
둘째, 좌표와 연결되어야 한다. 언어적으로 "컵"을 아는 것만으로는 부족하다. 로봇은 그 컵이 실제로 어디에 있는지 알아야 한다. 의미는 기하와 연결되어야 행동이 된다.
셋째, 시간 정보를 담아야 한다. 로봇 행동은 정지 이미지가 아니라 연속된 변화다. 컵을 향해 손이 다가가고, 닿고, 잡고, 들어 올리는 흐름이 있다. 표현은 현재 장면뿐 아니라 직전 행동과 그 결과를 반영해야 한다.
넷째, 불확실성을 견뎌야 한다. 센서는 틀릴 수 있고, 물체는 가려질 수 있으며, 사람의 명령은 모호할 수 있다. 좋은 로봇은 확신이 낮을 때 무리하게 행동하지 않는다. 다시 관찰하거나, 천천히 접근하거나, 사람에게 확인할 수 있어야 한다.
다섯째, 로봇의 몸을 반영해야 한다. 같은 장면이라도 로봇 팔, 모바일 로봇, 휴머노이드가 할 수 있는 행동은 다르다. 표현은 세계만이 아니라 그 세계 안에서 움직일 몸의 능력까지 포함해야 한다.
멀티모달 표현 학습은 VLA의 중간 단계처럼 보이지만, 사실상 로봇 지능의 중심에 가깝다. 로봇은 자신이 이해한 방식대로만 행동할 수 있다. 세상을 물체로 이해하면 물체를 조작하려 하고, 관계로 이해하면 배치를 바꾸려 하며, 토큰의 패턴으로 이해하면 학습된 행동 분포 안에서 움직인다.
따라서 다음 세대 로봇의 성능은 단지 더 큰 모델에서만 나오지 않는다. 세상을 어떤 형태로 압축하고, 어떤 정보를 버리지 않으며, 의미와 좌표와 힘을 어떻게 함께 묶는가에서 나온다. 좋은 로봇 행동은 좋은 표현에서 시작된다.
참고
1Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization
2What matters in building vision–language–action models for generalist robots
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.