로봇 AI의 실용성을 가르는 질문은 특정 작업을 한 번 성공했느냐가 아니다. 새로운 작업을 얼마나 빠르게 이해하는지, 짧게 배운 행동을 다른 상황에서도 활용할 수 있는지, 그리고 그 성능이 외부에서도 재현되는지가 더 중요하다. GEN-1.5는 이 가운데 작업 전환에 필요한 학습 절차를 줄이려는 접근으로 볼 수 있다.
작업별 재훈련 대신 컨텍스트를 활용한다
GEN-1.5는 영상, 센서, 언어, 고유수용감각 입력을 함께 처리하는 대형 멀티모달 모델이다. 영상 메모리 범위는 30초이고, 로봇 동작 궤적을 100Hz 빈도로 출력한다.1
이 구조에서 주목할 부분은 시연의 역할이다. 센서와 운동 시연 데이터를 모델의 컨텍스트 창에 예시로 넣는 방식을 물리적 프롬프팅이라고 한다. Generalist AI에 따르면 GEN-1.5는 3~12초 길이의 시연을 입력받아 별도의 훈련 없이 해당 작업을 수행할 수 있다.1
이는 시연을 곧바로 모델의 현재 행동을 유도하는 입력으로 사용한다는 의미다. 다만 짧은 시연을 이해하는 능력과 실제 환경에서 안정적으로 반복 수행하는 능력은 같은 평가 항목이 아니다. 30초의 영상 메모리와 100Hz 동작 출력 같은 사양도 모델이 정보를 받아들이고 행동을 생성하는 방식을 설명하지만, 그 자체로 정밀도나 안전성을 입증하지는 않는다.
더 중요한 가능성은 행동의 재사용이다
물리적 프롬프팅의 가치는 한 가지 동작을 복제하는 데만 있지 않다. 서로 다른 물리적 프롬프트 두 개를 입력하면 GEN-1.5는 두 행동을 하나의 더 긴 행동으로 연결할 수 있다. 시뮬레이션에서 기록한 시연을 실제 로봇 작업의 프롬프트로 활용하는 방식도 제시됐다.1
이 두 기능이 재현된다면 로봇 작업 설계의 단위가 달라질 수 있다. 모든 절차를 하나의 긴 데이터로 준비하기보다 짧은 행동 예시를 조합하는 운용 방식을 검토할 수 있기 때문이다. 시뮬레이션 시연의 활용 역시 실제 로봇에서 데이터를 직접 수집해야 하는 범위를 줄일 가능성을 제시한다.
그러나 조합 가능성이 곧 일반화를 뜻하지는 않는다. 두 행동을 연결할 때 중간 상태가 달라지거나, 시뮬레이션과 실제 환경 사이에 차이가 생기면 결과가 달라질 수 있다. 따라서 시연의 출처보다 최종 행동이 실제 조건에서 얼마나 일관되게 수행되는지를 확인해야 한다.
자체 보고 수치는 출발점일 뿐이다
Generalist AI는 10개 테스트에서 GEN-1.5가 별도 훈련 없이 평균 59%의 성공률을 기록했다고 밝혔다. 작업당 5분 분량의 데이터로 10단계 훈련한 뒤에는 평균 성공률이 83%로 높아졌다고 보고했다.1
이 수치는 GEN-1.5의 활용 경로를 두 가지로 나눠 생각하게 한다. 하나는 짧은 시연만으로 작업을 바로 시도하는 방식이고, 다른 하나는 소량의 데이터와 추가 훈련으로 성능을 보완하는 방식이다. 즉시성과 성공률 사이에 어떤 선택지가 있는지 보여주는 자료로는 의미가 있다.
다만 모든 결과는 Generalist AI의 자체 보고이며 독립적으로 검증되지 않았다. 평균 성공률만으로는 작업별 편차, 반복 수행의 안정성, 환경 변화에 대한 민감도, 실패 상황의 특성을 알기 어렵다. 추가 훈련 후의 성능 향상도 다른 로봇과 조건에서 재현되는지 확인할 필요가 있다.
다음 단계에서 확인할 것
GEN-1.5를 판단할 때는 단일 성공률보다 다음 질문이 중요하다.
동일한 물리적 프롬프트가 다른 환경에서도 비슷한 결과를 만드는가
행동 두 개를 연결했을 때 전체 작업의 안정성이 유지되는가
시뮬레이션 시연을 실제 로봇에 적용할 때 성능 차이가 어느 정도인가
반복 작업과 예상하지 못한 상황에서 안전하게 대응하는가
5분 데이터와 10단계 훈련의 효과가 외부 평가에서도 재현되는가
GEN-1.5의 핵심 의미는 로봇 작업을 모두 해결했다는 선언이 아니라, 시연을 재훈련용 데이터가 아닌 즉시 활용할 수 있는 컨텍스트로 다루려는 데 있다. 앞으로는 이 방식의 참신성보다 독립 검증, 행동 조합의 안정성, 시뮬레이션과 현실 사이의 재현성이 실제 가치를 결정할 것이다.
1Generalist - GEN-1.5: Embodied Foundation Models are One-Shot Learners
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.