단발성 행동을 넘어서는 로봇
지금까지의 VLA는 주로 짧은 지시를 다뤘다. "컵을 집어라", "상자를 왼쪽으로 옮겨라", "버튼을 눌러라"처럼 하나의 장면에서 하나의 행동을 수행하는 방식이다. 이런 능력은 중요하지만, 실제 생활과 산업 현장의 명령은 대개 더 길고 모호하다.
"부엌을 정리해 줘."
이 문장에는 물체 이름도, 순서도, 정확한 목표 위치도 없다. 로봇은 먼저 부엌을 관찰해야 한다. 무엇이 어질러져 있는지 판단해야 한다. 컵은 싱크대로, 접시는 식기세척기로, 음식물은 냉장고나 쓰레기통으로 보내야 할 수 있다. 중간에 식기세척기가 가득 차 있으면 다른 방법을 찾아야 한다. 깨진 유리컵을 발견하면 사람에게 알려야 할 수도 있다.
이때 필요한 것은 단발성 행동 모델이 아니라 로봇 에이전트(robot agent)다. 로봇 에이전트는 목표를 이해하고, 환경을 관찰하고, 계획을 세우고, 행동한 뒤, 결과를 확인하며 목표가 끝날 때까지 과정을 이어 가는 시스템이다. 여기서 중요한 개념이 장기 작업 계획(long-horizon task planning)이다. 하나의 큰 목표를 여러 단계의 하위 작업으로 나누고, 각 단계의 성공과 실패를 보며 다음 행동을 조정하는 능력이다.
다음 세대 로봇은 명령 하나를 실행하는 기계가 아니라, 목표를 끝까지 완수하는 에이전트가 되어야 한다.
AI 생성 이미지
"부엌을 정리해 줘"를 실행 가능한 과정으로 바꾸기
추상 명령은 바로 모터 명령으로 바뀌지 않는다. 로봇은 대략 다섯 단계를 거친다.
첫째, 관찰이다. 카메라, 깊이 센서, 힘 센서, 로봇의 위치 정보를 사용해 현재 상태를 파악한다. 테이블 위에 컵이 몇 개 있는지, 싱크대가 비어 있는지, 바닥에 장애물이 있는지 확인한다.
둘째, 목표 해석이다. "정리"라는 단어는 상황에 따라 다르다. 사무실 책상 정리와 부엌 정리는 다르다. 로봇은 물체의 종류, 장소의 용도, 사람의 생활 습관을 바탕으로 목표 상태를 추정한다. 예를 들어 컵은 찬장이나 싱크대 근처, 음식물은 냉장고나 쓰레기통, 조리 도구는 조리대 주변에 있어야 한다고 판단할 수 있다.
셋째, 계획 수립이다. 큰 목표를 작은 하위 작업으로 나눈다. "테이블 위의 컵을 모은다", "컵을 싱크대로 옮긴다", "접시를 식기세척기에 넣는다", "젖은 행주를 건조대에 둔다" 같은 식이다. 이 단계에서는 순서도 중요하다. 먼저 장애물을 치워야 팔이 닿을 수 있고, 먼저 문을 열어야 물건을 넣을 수 있다.
넷째, 실행이다. 각 하위 작업은 VLA 정책이나 기존 로봇 제어기가 맡는다. 컵을 집는 행동, 문손잡이를 잡아 여는 행동, 물체를 특정 위치에 내려놓는 행동이 여기에 해당한다.
다섯째, 검증이다. 로봇은 행동 후 장면을 다시 본다. 컵이 정말 싱크대 안에 있는지, 접시가 떨어지지 않았는지, 문이 닫혔는지 확인한다. 검증이 없다면 로봇은 "했다고 생각하는 것"과 "실제로 된 것"을 구분하지 못한다.
다만 이 다섯 단계는 한 번만 지나가는 직선형 파이프라인이 아니다. 실행 중에 새로운 물체를 발견하면 다시 관찰해야 하고, 목표 위치가 막혀 있으면 계획을 바꿔야 한다. 검증 결과가 좋지 않으면 같은 행동을 다시 시도하거나 다른 방법을 찾아야 한다. 장기 작업에서 계획은 처음에 세운 목록을 그대로 따라가는 것이 아니라, 현실의 피드백을 받아 계속 갱신되는 과정에 가깝다.
이 과정은 사람에게는 자연스럽지만 로봇에게는 어렵다. 사람은 물체가 굴러가거나, 손에서 미끄러지거나, 누군가 갑자기 앞을 지나가는 상황에 즉시 대응한다. 로봇 에이전트도 같은 능력을 갖추려면 계획과 실행 사이에 계속 피드백을 넣어야 한다.
언어 모델 플래너와 VLA 정책의 분업
장기 작업에서 모든 것을 하나의 VLA 모델이 처리하게 만들 수도 있다. 그러나 현실적인 시스템은 대개 역할을 나눈다.
상위에는 언어 모델 기반 플래너(language model-based planner)가 있다. 플래너는 큰 목표를 해석하고 하위 작업의 순서를 만든다. 예를 들어 "부엌을 정리해 줘"라는 명령을 받으면 "테이블 스캔 → 쓰레기 분류 → 식기 이동 → 조리대 닦기 가능 여부 확인" 같은 계획을 생성한다.
하위에는 VLA 정책(VLA policy)이 있다. VLA 정책은 구체적인 장면에서 다음 행동을 출력한다. "오른쪽 컵을 잡아라", "싱크대 안쪽 빈 공간에 내려놓아라"처럼 시각 정보와 언어 지시를 연결해 로봇 팔의 움직임으로 바꾼다.
이 구조의 핵심은 플래너가 모터 명령을 직접 만들지 않는다는 점이다. 언어 모델은 문장과 추론에는 강하지만, 접촉 힘, 그리퍼 각도, 충돌 회피, 미세한 위치 오차까지 안정적으로 다루기에는 적합하지 않다. 반대로 VLA 정책은 특정 행동을 실행하는 데 강하지만, 수십 단계의 목표를 끝까지 관리하기에는 기억과 추론 구조가 부족할 수 있다.
따라서 좋은 인터페이스가 필요하다. 플래너는 하위 작업을 다음처럼 전달해야 한다.
대상: "테이블 위의 파란 컵"
목표: "싱크대 안에 놓기"
제약: "깨지지 않게 잡기", "사람 손이 가까우면 멈추기"
성공 조건: "컵이 싱크대 안에 안정적으로 놓여 있음"
VLA 정책은 이 지시를 받아 실제 행동을 만든다. 저수준 제어기는 충돌, 속도, 힘, 관절 한계를 확인한다. 이렇게 상위 계획, 중간 행동, 저수준 제어가 분리되면 시스템은 더 설명 가능하고 수정하기 쉬워진다.
최근 장기 조작 연구도 이 방향을 보여 준다. Long-VLA는 장기·다단계 조작에서 기존 VLA가 겪는 기술 연결과 서브태스크 의존성 문제를 다루기 위해 제안된 모델이다. 특히 각 서브태스크를 이동 단계와 상호작용 단계로 나누고, 단계에 맞는 감각 정보에 더 집중하도록 하는 phase-aware input masking 전략을 사용한다. 이는 장기 작업에서 중요한 문제가 단순히 "더 큰 모델"을 만드는 것이 아니라, 단계 사이를 안정적으로 연결하고 현재 단계에 필요한 정보를 잘 고르는 구조를 설계하는 데 있음을 보여 준다1.
실패를 알아차리는 자기 점검 루프
장기 작업의 가장 큰 적은 작은 실패의 누적이다. 컵을 조금 비뚤게 잡았는데 그대로 이동하면 컵이 떨어질 수 있다. 서랍을 열었다고 생각했지만 실제로는 반쯤만 열렸을 수 있다. 로봇이 이런 상태를 확인하지 않고 다음 단계로 넘어가면 전체 작업이 망가진다.
그래서 로봇 에이전트에는 자기 점검 루프(self-check loop)가 필요하다. 자기 점검 루프는 행동 후 결과를 다시 관찰하고, 현재 상태가 계획과 맞는지 판단하고, 필요하면 대체 행동을 선택하는 과정이다.
예를 들어 로봇이 컵을 집으려 했지만 그리퍼가 빈 공간을 잡았다고 하자. 이때 가능한 대응은 여러 가지다.
컵 위치를 다시 인식한다.
조명을 바꾸거나 시점을 이동한다.
다른 잡기 자세를 시도한다.
컵이 사람 손 가까이에 있으면 기다린다.
반복 실패하면 사람에게 도움을 요청한다.
중요한 것은 실패를 "예외 상황"이 아니라 정상적인 실행 과정의 일부로 다루는 것이다. 물리 세계에서는 마찰, 조명, 물체 모양, 센서 노이즈, 사람의 움직임 때문에 실패가 항상 발생한다. 좋은 로봇 에이전트는 실패하지 않는 척하지 않는다. 실패를 빨리 발견하고 피해를 줄이며 복구한다.
이때 검증 기준은 작업마다 달라야 한다. 컵을 옮기는 작업은 위치 안정성이 중요하다. 못을 박고 그림을 거는 작업은 도구 사용, 힘 조절, 최종 수평 상태가 중요하다. 책을 정리하는 작업은 순서와 분류 기준이 중요하다. 장기 작업 벤치마크인 VLABench가 물체 재배치, 도구 사용, 상식 추론, 자연어 지시 이해, 장기 계획을 함께 평가하려는 이유도 여기에 있다. 단순 성공률만으로는 로봇 에이전트의 중간 진행도와 추론 능력을 충분히 보기 어렵기 때문이다2.
메모리와 세계 모델이 하는 일
장기 작업에는 메모리(memory)가 필요하다. 여기서 메모리는 단순히 과거 이미지를 저장하는 기능이 아니다. 로봇이 작업 중 알게 된 사실을 유지하고, 다음 행동에 활용하는 능력이다.
예를 들어 로봇이 부엌을 정리하다가 "파란 컵은 이미 싱크대로 옮겼다"는 사실을 기억하지 못하면 같은 물체를 계속 찾을 수 있다. "식기세척기는 가득 차 있다"는 사실을 잊으면 불가능한 계획을 반복할 수 있다. "사용자가 칼은 직접 치우겠다고 말했다"는 정보를 잊으면 위험한 행동을 할 수 있다.
메모리는 여러 층으로 나뉜다.
짧은 메모리는 현재 작업의 진행 상태를 저장한다. 어떤 하위 작업을 끝냈고, 어떤 물체를 아직 처리하지 않았는지 기록한다.
공간 메모리는 물체와 장소의 위치를 저장한다. 컵이 어느 테이블에 있었는지, 쓰레기통이 어디 있는지, 문이 열려 있는지 기억한다.
사용자 메모리는 사람의 선호와 규칙을 저장한다. 어떤 컵은 장식용이라 옮기면 안 되는지, 반려동물 그릇은 따로 세척해야 하는지 같은 정보다.
여기에 더해 세계 모델(world model)이 필요하다. 세계 모델은 로봇이 "내가 이렇게 행동하면 다음 상태가 어떻게 바뀔까"를 예측하는 내부 모델이다. 문을 열면 안쪽 공간이 보일 것이다. 병을 눕히면 액체가 샐 수 있다. 무거운 냄비는 한 손 그리퍼로 들기 어렵다. 이런 예측이 있어야 로봇은 무작정 행동하지 않고, 결과를 예상하며 계획할 수 있다.
도구 사용에서는 세계 모델이 특히 중요하다. 망치를 쓸 때는 못과 망치 머리의 위치, 힘의 방향, 표면의 강도를 고려해야 한다. 집게를 쓸 때는 물체를 직접 잡는 것이 아니라 도구를 통해 간접적으로 힘을 전달해야 한다. 도구는 로봇 몸의 능력을 확장하지만, 동시에 계획 공간을 크게 늘린다. 따라서 도구 사용형 로봇 에이전트는 물체의 의미뿐 아니라 물리적 효과를 이해해야 한다.
사람에게 묻는 것도 능력이다
로봇이 모든 상황을 스스로 해결해야 한다고 생각하기 쉽다. 그러나 실제 환경에서는 질문하는 능력이 오히려 안전하고 효율적이다.
"이 컵은 씻을까요, 아니면 그대로 둘까요?"
"칼이 바닥에 있습니다. 제가 치워도 될까요?"
"식기세척기가 가득 찼습니다. 접시를 싱크대에 둘까요?"
이런 확인 질문은 로봇의 부족함을 드러내는 것이 아니라 협업형 인터페이스의 핵심이다. 사람도 모호한 지시를 받으면 되묻는다. 로봇 역시 불확실성이 높거나 위험이 큰 상황에서는 멈추고 확인해야 한다.
다만 질문이 너무 많으면 사용자는 로봇을 불편하게 느낀다. 따라서 로봇은 언제 스스로 판단하고 언제 물어야 하는지 기준을 가져야 한다. 위험한 물체, 되돌리기 어려운 행동, 사용자의 선호가 중요한 상황, 센서 인식이 불확실한 상황에서는 질문하는 편이 낫다. 반대로 명확하고 위험이 낮은 반복 작업은 스스로 처리해야 한다.
이 균형이 중요하다. 좋은 로봇 에이전트는 독단적으로 행동하지도 않고, 사소한 일마다 사람을 방해하지도 않는다. 스스로 할 수 있는 일은 처리하되, 불확실성과 위험이 커질 때 사람을 계획 루프 안으로 초대한다.
목표를 끝까지 완수하는 시스템
로봇 에이전트는 하나의 모델 이름이 아니다. VLA, 언어 모델 플래너, 메모리, 세계 모델, 저수준 제어기, 안전 모듈, 사람과의 인터페이스가 결합된 시스템이다.
단발성 VLA는 "지금 무엇을 해야 하는가"에 답한다. 로봇 에이전트는 여기에 더해 "왜 해야 하는가", "다음에는 무엇을 해야 하는가", "실패했을 때 어떻게 바꿀 것인가", "언제 사람에게 물어야 하는가"까지 다룬다.
이 차이가 다음 세대 로봇의 핵심이다. 로봇이 실제 환경에서 유용해지려면 한 번의 행동을 잘하는 것만으로는 부족하다. 목표를 이해하고, 계획을 세우고, 실행을 점검하고, 실패를 복구하며, 사람과 협력해야 한다. VLA는 그중 행동을 현실로 연결하는 중요한 엔진이다. 하지만 장기 작업에서는 그 엔진을 둘러싼 계획과 검증의 구조가 성능을 결정한다.
결국 Physical AI의 성숙도는 로봇이 얼마나 멋진 동작을 한 번 보여 주는지가 아니라, 복잡한 목표를 얼마나 안정적으로 끝까지 완수하는지로 평가될 것이다.
참고
1Long-VLA: Unleashing Long-Horizon Capability of Vision Language Action Model for Robot Manipulation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.