VLA는 하나의 학습법이 아니다
비전-언어-행동 모델(VLA, Vision-Language-Action model)은 특정 알고리즘 하나로 만들어지지 않는다. 좋은 VLA는 여러 학습법이 층처럼 쌓인 결과에 가깝다. 웹 이미지와 문장으로 세상의 의미를 배우고, 사람의 시연으로 로봇 행동을 배우며, 실패 경험과 보상으로 더 나은 행동을 고른다. 마지막으로 실제 로봇 위에서 조금씩 조정된다.
이 장에서 볼 핵심 학습법은 다섯 가지다. 모방학습(Imitation Learning)은 사람이 보여준 행동을 따라 배우는 방법이다. 강화학습(Reinforcement Learning)은 행동 결과에 보상을 주고, 더 높은 보상을 얻는 방향으로 정책을 개선하는 방법이다. 자기지도학습(Self-Supervised Learning)은 사람이 정답을 일일이 달지 않아도 데이터 안의 구조를 이용해 표현을 배우는 방법이다. 파인튜닝(Fine-tuning, 미세조정)은 이미 학습된 큰 모델을 특정 작업이나 로봇 데이터에 맞게 다시 조정하는 과정이다. 체인 오브 소트(Chain-of-Thought)는 모델이 답을 바로 내지 않고 중간 추론을 언어로 전개하게 하는 방식이다.
VLA 학습의 진화는 이 방법들이 서로 대체되는 과정이 아니라 결합되는 과정이다.
AI 생성 이미지
모방학습: 빠르게 쓸 수 있는 첫 번째 해법
로봇 조작에서 가장 직관적인 학습법은 사람의 시연을 따라 하는 것이다. 사람이 컵을 집어 상자에 넣는 과정을 원격 조작으로 보여주면, 로봇은 그때의 카메라 이미지, 언어 지시, 관절 상태, 그리퍼 움직임을 함께 기록한다. 이후 모델은 비슷한 장면이 들어왔을 때 사람이 했던 행동과 가까운 출력을 내도록 학습한다. 이를 행동 복제(Behavior Cloning)라고도 한다.
모방학습이 조작 태스크에서 빠르게 성능을 내는 이유는 명확하다. 로봇이 처음부터 무작위로 팔을 휘두르며 정답을 찾아야 하는 것이 아니라, 사람이 이미 성공 경로를 보여주기 때문이다. 컵에 접근할 때 손목을 어느 방향으로 돌려야 하는지, 물체를 집은 뒤 얼마나 들어 올려야 하는지, 그리퍼를 언제 닫아야 하는지 같은 정보가 시연 안에 들어 있다. 보상이 희박한 작업에서도 "어떻게 해야 하는지"를 바로 배울 수 있다.
하지만 모방학습은 시연 데이터의 세계 안에서 강하다. 로봇이 조금만 다른 상태로 밀려나면 문제가 생긴다. 예를 들어 컵을 잡으려다 살짝 밀어 버린 상황이 시연에 거의 없었다면, 모델은 그 상태에서 복구하는 법을 모른다. 작은 오차가 다음 관측을 바꾸고, 바뀐 관측이 다시 더 큰 오차를 만든다. 이를 누적 오류(Compounding Error)라고 한다. 실제 로봇에서는 이 문제가 중요하다. 책상 표면의 마찰, 조명의 변화, 물체의 미세한 위치 차이가 모두 새로운 상태를 만들기 때문이다.
따라서 VLA에서 모방학습은 출발점이지 종착점이 아니다. 사람의 시연은 기본 행동을 빠르게 가르친다. 그러나 로봇이 오래 안정적으로 일하려면, 시연 밖에서 만나는 상태를 다루는 학습이 추가되어야 한다.
강화학습: 경험으로 더 나은 행동을 찾는다
강화학습은 로봇이 행동하고, 결과를 보고, 더 좋은 결과를 낳는 행동을 강화하는 방식이다. 컵을 집는 작업이라면 성공적으로 컵을 들어 올렸을 때 높은 보상을 주고, 컵을 떨어뜨리거나 충돌하면 낮은 보상을 준다. 이 방식의 장점은 시연을 그대로 따라 하는 데 머물지 않는다는 점이다. 로봇은 사람의 시연보다 더 짧은 경로, 더 안정적인 잡기 자세, 더 빠른 움직임을 탐색할 수 있다.
문제는 비용이다. 강화학습은 많은 시행착오를 필요로 한다. 화면 속 게임에서는 실패해도 다시 시작하면 된다. 하지만 실제 로봇은 실패할 때 물체를 깨뜨릴 수 있고, 사람을 다치게 할 수 있으며, 하드웨어를 마모시킨다. 한 번의 에피소드에도 시간이 걸린다. 수만 번의 시행착오를 실제 로봇으로 수행하는 것은 비싸고 위험하다.
보상 설계도 어렵다. "컵을 상자에 넣어라"라는 목표는 간단해 보이지만, 로봇에게 어떤 순간에 얼마의 보상을 줄지는 복잡하다. 컵에 가까워지면 보상을 줄 것인가, 잡았을 때 줄 것인가, 상자 근처까지 갔을 때 줄 것인가. 보상이 잘못 설계되면 로봇은 목표를 달성하는 대신 보상만 속이는 행동을 배울 수 있다.
그래서 최근 VLA 학습에서는 강화학습을 단독으로 쓰기보다 제한된 범위에서 결합한다. 먼저 오프라인 데이터로 기본 정책을 만들고, 이후 시뮬레이터나 실제 로봇에서 안전하게 경험을 추가한다. 어떤 연구들은 실제 로봇에서 직접 위험한 탐색을 많이 하지 않기 위해, 실제 상호작용 데이터로 학습한 월드 시뮬레이터(World Simulator)를 사용해 행동 결과를 예측하고 그 안에서 보상 기반 미세조정을 수행하려 한다1. 핵심은 강화학습의 탐색 능력을 얻되, 물리 세계의 비용을 줄이는 것이다.
자기지도학습과 비전-언어 사전학습
VLA가 과거의 로봇 정책과 달라진 지점은 웹 규모의 비전-언어 지식을 끌어온다는 데 있다. 로봇 데이터는 비싸지만, 이미지와 텍스트 데이터는 훨씬 많다. 자기지도학습은 이 거대한 데이터에서 물체, 장면, 속성, 관계, 언어 표현을 배운다. 예를 들어 "빨간 머그컵", "바나나", "테이블 위의 물체" 같은 개념은 로봇이 직접 수천 번 조작하지 않아도 이미지-문장 학습을 통해 어느 정도 이해할 수 있다.
RT-2는 이 전환을 보여준 대표적 사례다. 핵심 아이디어는 사전학습된 비전-언어 모델을 로봇 궤적 데이터와 함께 미세조정하고, 로봇 행동을 언어 토큰처럼 표현해 같은 모델 안에서 학습시키는 것이다. 이 접근은 웹에서 배운 시각·언어 지식이 로봇 제어로 전이될 수 있음을 보여주었다2. 예를 들어 로봇 데이터에 모든 물체와 모든 지시가 들어 있지 않아도, 모델은 웹에서 배운 의미 지식을 이용해 새로운 물체나 설명을 어느 정도 해석할 수 있다.
이것은 단순한 성능 향상이 아니라 학습 구조의 변화다. 예전에는 로봇이 직접 경험한 것만 배운다고 보는 경향이 강했다. VLA에서는 로봇이 직접 해 본 행동 데이터와, 인터넷 규모의 의미 지식이 결합된다. "이 물체가 무엇인가"와 "그 물체를 어떻게 움직일 것인가"가 완전히 분리되지 않는다.
물론 비전-언어 사전학습만으로 로봇이 잘 움직이는 것은 아니다. 이미지 속 컵을 알아보는 능력과 실제 컵을 안정적으로 잡는 능력은 다르다. 전자는 의미 이해이고, 후자는 좌표, 힘, 마찰, 그리퍼 형상까지 포함한 행동 문제다. 그래서 VLA는 사전학습 모델을 그대로 쓰지 않고, 로봇 행동 데이터로 미세조정한다.
파운데이션 모델을 로봇 정책으로 바꾸는 미세조정
파운데이션 모델(Foundation Model)은 다양한 데이터에서 미리 학습되어 여러 작업의 기반으로 쓰이는 큰 모델을 뜻한다. VLA에서는 비전-언어 파운데이션 모델을 출발점으로 삼고, 여기에 로봇 행동을 연결한다. 이때 중요한 과정이 미세조정이다.
OpenVLA 같은 모델은 언어 모델과 시각 인코더를 결합하고, 대규모 로봇 시연 데이터로 행동을 예측하도록 학습한다. 공개된 설명에 따르면 OpenVLA는 Llama 2 기반 언어 모델과 DINOv2, SigLIP 계열의 시각 특징을 결합하고, 약 97만 개의 실제 로봇 시연을 사용해 학습되었다3. 여기서 중요한 점은 "큰 모델을 썼다"가 아니다. 이미 세상의 시각적·언어적 패턴을 배운 모델에 로봇 행동의 형식을 가르쳤다는 점이다.
미세조정은 두 가지 일반화 효과를 만든다. 첫째, 언어 지시가 조금 달라져도 의미를 이해할 가능성이 높아진다. "컵을 상자에 넣어라"와 "머그를 빈 통 안으로 옮겨라"는 표현은 다르지만 목표 구조는 비슷하다. 둘째, 새로운 물체나 장면에서도 사전학습된 시각 표현이 도움을 줄 수 있다. 로봇 데이터에 없던 물체라도 비슷한 형태나 의미 범주를 인식할 수 있기 때문이다.
하지만 미세조정에는 현실적인 제약이 있다. 로봇마다 팔 길이, 카메라 위치, 그리퍼 구조, 제어 주기가 다르다. 같은 "앞으로 5cm 이동"도 로봇 몸에 따라 의미가 달라진다. 그래서 데이터 형식 표준화가 중요하다. OpenVLA 생태계가 RLDS 같은 로봇 데이터 형식과 Open X-Embodiment 데이터 혼합을 지원하고, 새 데이터셋을 등록해 LoRA 같은 파라미터 효율적 미세조정이나 전체 미세조정을 선택하도록 한 것도 이 문제와 관련된다4.
여기서 LoRA(Low-Rank Adaptation)는 큰 모델 전체를 모두 바꾸지 않고 일부 작은 적응 파라미터만 학습하는 방법이다. 컴퓨팅 비용을 줄일 수 있지만, 로봇이나 작업이 기존 데이터와 많이 다르면 전체 미세조정이 필요할 수 있다. 즉 미세조정 전략은 모델 크기만이 아니라 데이터 차이, 하드웨어 차이, 배포 비용의 문제다.
오프라인 학습과 온라인 상호작용의 결합
VLA를 실제 로봇에 쓰려면 오프라인 학습(Offline Learning)과 온라인 상호작용 학습(Online Interaction Learning)을 함께 생각해야 한다. 오프라인 학습은 이미 모아 둔 데이터로 모델을 학습하는 방식이다. 안전하고 재현 가능하다. 연구실이나 공장에서 검증된 데이터만 골라 쓸 수 있고, 위험한 행동을 실제로 반복하지 않아도 된다.
하지만 오프라인 데이터는 과거의 기록이다. 로봇이 배포된 뒤 만나는 조명, 물체 배치, 사용자 지시, 마모된 그리퍼 상태까지 모두 담고 있지는 않다. 그래서 온라인 학습이 필요하다. 온라인 학습은 로봇이 실제 환경에서 행동하며 새 데이터를 얻고, 그 경험으로 정책을 개선하는 방식이다.
가장 현실적인 전략은 둘을 단계적으로 결합하는 것이다. 먼저 대규모 오프라인 데이터와 시연으로 기본 정책을 만든다. 다음으로 제한된 환경에서 로봇이 스스로 시도하게 하고, 실패하거나 위험한 상태에서는 사람이 교정한다. 이 교정 데이터는 특히 중요하다. 성공 시연은 이상적인 길을 보여주지만, 교정 데이터는 로봇이 실제로 빠지는 나쁜 상태에서 어떻게 돌아와야 하는지를 알려준다.
최근 일부 로봇 학습 파이프라인은 오프라인 강화학습, 시연 기반 미세조정, 실제 로봇 경험, 사람의 교정을 함께 사용한다. 예를 들어 Physical Intelligence의 π 계열 설명은 경험에서 가치 함수를 배우고, 시연으로 작업을 접지하며, 실제 로봇에서 얻은 보상과 교정으로 누적 오류를 줄이는 방향을 제시한다5. 중요한 흐름은 분명하다. VLA는 "완벽한 시연만 따라 하는 모델"에서 "시연, 실패, 교정, 보상을 모두 활용하는 모델"로 이동하고 있다.
언어 추론과 행동 정책을 연결할 때의 가능성과 한계
VLA가 언어 모델을 포함하면서 체인 오브 소트식 추론도 관심을 받는다. 로봇에게 "피곤한 사람에게 줄 만한 음료를 가져와"라고 지시하면, 모델은 먼저 피곤함과 에너지 음료의 관계를 추론하고, 장면에서 해당 물체를 찾고, 잡아서 전달하는 행동을 계획할 수 있다. RT-2 관련 설명에서도 웹 규모 학습을 통해 의미적 추론과 새로운 지시 수행 능력이 나타났고, 체인 오브 소트가 다단계 의미 추론에 도움을 줄 수 있음이 언급된다6.
이 가능성은 크다. 언어 추론은 장기 작업을 단계로 나누고, 모호한 지시를 해석하며, 도구의 용도를 추론하는 데 유용하다. "상자를 열고 안의 물건을 꺼내 선반에 올려라" 같은 작업은 단일 행동이 아니라 여러 하위 목표로 구성된다. 언어 모델은 이런 구조를 표현하는 데 강하다.
그러나 언어 추론이 곧 안전한 행동은 아니다. 모델이 그럴듯한 이유를 말해도 실제 팔의 경로가 충돌할 수 있다. "컵을 잡는다"는 문장은 쉽지만, 컵의 손잡이를 피할지 잡을지, 어느 각도로 접근할지, 힘을 얼마나 줄지는 별도의 제어 문제다. 또 체인 오브 소트는 추론 시간을 늘릴 수 있고, 잘못된 가정이 행동 전체를 망칠 수 있다. 물리 세계에서는 말의 설득력보다 관측, 검증, 안전 정지가 더 중요하다.
따라서 바람직한 연결 방식은 언어 추론이 고수준 계획을 돕고, 행동 정책과 제어기가 그 계획을 물리적으로 검증하는 구조다. 언어 모델은 "무엇을 해야 하는가"를 정리하고, VLA 정책은 "지금 이 장면에서 어떻게 움직일 것인가"를 출력하며, 저수준 제어기와 안전 모듈은 "이 움직임이 실행 가능한가"를 확인한다.
학습 방법의 진화가 향하는 곳
VLA 학습의 미래는 어느 한 방법의 승리가 아니다. 모방학습은 빠른 시작을 제공한다. 강화학습은 경험을 통해 더 나은 행동을 찾게 한다. 자기지도학습과 비전-언어 사전학습은 로봇 데이터만으로 얻기 어려운 의미 지식을 제공한다. 파운데이션 모델 미세조정은 그 지식을 특정 로봇의 행동 형식으로 바꾼다. 온라인 상호작용과 교정은 실제 환경에서 드러나는 오류를 줄인다.
현실적인 VLA 학습 파이프라인은 다음과 같은 형태에 가까워질 가능성이 높다. 먼저 대규모 이미지·언어 데이터로 세상의 의미를 배운다. 그다음 여러 로봇의 시연 데이터로 행동 출력을 학습한다. 이후 특정 로봇과 작업에 맞게 미세조정한다. 배포 전에는 시뮬레이션과 오프라인 평가로 위험한 행동을 걸러낸다. 배포 후에는 제한된 온라인 경험과 사람의 교정으로 정책을 업데이트한다.
이 구조는 인간의 학습과도 닮았다. 사람도 책과 영상을 통해 개념을 배우고, 선생님의 시범을 보고, 직접 해 보며, 실수한 뒤 피드백으로 고친다. VLA 역시 같은 방향으로 진화하고 있다. 차이는 로봇의 실수가 물리적 비용을 만든다는 점이다. 그래서 VLA 학습의 핵심은 더 많은 데이터를 모으는 것만이 아니라, 어떤 데이터를 어떤 순서로, 얼마나 안전하게 학습에 넣을 것인가에 있다.
참고
1VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators
2RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
3OpenVLA: An Open-Source Vision-Language-Action Model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.