다리 달린 로봇의 객체 내비게이션에서 어려운 점은 “잘 걷는 것”만이 아닙니다. 사람이 “가방을 찾아가”, “의자 다음 사람에게 가”처럼 말했을 때, 로봇은 그 문장을 실제 공간의 목표와 이동 행동으로 바꿔야 합니다.
LOVON은 이 문제를 LLM, 오픈보캐뷸러리 객체 탐지, 모션 모델로 나눠 다루는 프레임워크입니다. 핵심은 LLM이 로봇의 관절을 직접 제어하는 것이 아니라, 사람의 지시를 실행 가능한 목표와 단계로 정리하는 상위 계획자 역할을 한다는 점입니다.1
LLM의 역할은 “걷기”가 아니라 “의미를 행동으로 바꾸기”
LOVON의 구조는 크게 세 단계로 이해할 수 있습니다.
LLM 기반 태스크 플래너가 사람의 지시를 기본 명령으로 재구성합니다.
시각 탐지 모델이 영상에서 목표 객체와 상태를 찾습니다.
Language-to-Motion Model이 이를 로봇 제어 벡터와 피드백으로 변환합니다.2
이 분리가 중요한 이유는 실용성입니다. LLM이 저수준 제어까지 맡으면 응답 지연, 불안정성, 검증 난도가 커질 수 있습니다. 반면 LLM은 “무엇을 해야 하는가”를 해석하고, 실제 이동과 제어는 전용 모델이 담당하면 시스템을 더 명확하게 평가하고 개선할 수 있습니다.
즉 LOVON의 포인트는 “LLM이 로봇을 조종한다”가 아니라, “LLM이 언어 지시를 공간적 목표와 실행 단계로 번역한다”에 가깝습니다.
오픈보캐뷸러리 내비게이션의 병목은 시각 안정성
실제 다리 로봇은 이동 중 카메라 흔들림이 큽니다. 그 결과 객체 탐지가 불안정해지고, 목표가 잠시 가려지거나 화면 밖으로 사라지는 일이 자주 발생합니다. 객체 내비게이션이 어려운 이유도 여기에 있습니다. 로봇은 한 번 본 대상을 계속 추적하는 것뿐 아니라, 잃어버린 목표를 다시 찾아야 합니다.
LOVON은 이런 문제를 줄이기 위해 Laplacian Variance Filtering을 사용해 흔들림과 블러가 있는 시각 입력을 처리하도록 설계했습니다.1 또한 목표를 놓쳤을 때 다시 탐색하는 실행 로직을 포함합니다. 이는 단순한 객체 추적을 넘어, 동적이고 비정형적인 환경에서 “찾고, 이동하고, 잃으면 복구하는” 흐름을 고려한다는 의미입니다.
왜 LLM 기반 로봇 프레임워크가 중요해졌나
LOVON이 보여주는 방향은 로봇 AI가 단일 모델 만능주의에서 벗어나고 있다는 점입니다. LLM은 의미와 계획을 맡고, 비전 모델은 열린 범주의 객체를 찾고, 제어 모델은 실제 움직임을 처리합니다. 각 모델이 잘하는 일을 나눠 맡는 구조가 더 현실적인 접근이 되고 있습니다.
비슷한 흐름은 다른 로봇 연구에서도 확인됩니다. 예를 들어 FEC(Future-Experience Conditioning)는 작업 명령과 현재 장면 상태를 입력으로 사용하고, LLM 추론기가 작업 온톨로지를 바탕으로 조작 대상 객체를 추론합니다. 여기에 객체의 관련 상호작용 부위와 원하는 상태 전이까지 함께 추론합니다.3
FEC의 차별점은 짧은 미래 비디오의 잠재 표현을 폐루프 정책의 조건 입력으로 쓴다는 것입니다. 먼저 로봇이 없는 디지털 트윈 롤아웃으로 의도된 객체 움직임을 만들고, 이후 마스크 없는 비디오 확산 모델로 로봇을 인페인팅합니다. 컨트롤러는 최근 관측값과 이 미래 비디오 잠재 표현을 함께 입력받아 행동을 생성합니다.3
이는 LOVON과 직접 같은 문제를 푸는 연구는 아니지만, 중요한 공통점을 보여줍니다. 로봇에게 필요한 것은 단순한 “정답 행동”만이 아니라, 앞으로 어떤 장면이 되어야 하는지에 대한 구조화된 힌트라는 점입니다.
적용 관점에서 봐야 할 질문들
LOVON은 Unitree Go2, B2, H1-2 같은 여러 다리 로봇에서 실험됐고, 동적·비정형 환경의 장거리 객체 내비게이션을 목표로 합니다.1 이때 성능 수치만큼 중요한 것은 다음 질문입니다.
목표 객체를 잠시 잃었을 때 다시 찾을 수 있는가?
지시가 길거나 모호해져도 계획을 유지할 수 있는가?
비전 입력이 흔들리는 상황에서도 안정적으로 대상을 인식하는가?
특정 로봇 몸체에만 묶이지 않고 다른 플랫폼으로 옮겨갈 수 있는가?
LLM 기반 다리 로봇 내비게이션의 가치는 “말을 알아듣는다”에 머물지 않습니다. 진짜 가치는 사람의 언어를 공간의 목표, 탐색 전략, 실행 가능한 행동으로 안정적으로 바꾸는 데 있습니다. LOVON 같은 프레임워크를 볼 때도 핵심은 LLM의 존재 자체가 아니라, 의미 이해와 실제 로봇 제어 사이의 간극을 얼마나 잘 메우는지입니다.
1LOVON: Legged Open-Vocabulary Object Navigator
3LLM-Guided Future Hypotheses for Horizon-Aware Exploration in Multi-Step Robot Manipulation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.