GEN-1.5가 바꾸려는 로봇 교육 방식
로봇을 새로운 작업에 투입하려면 일반적으로 작업별 코드와 데이터, 반복 학습이 필요하다. Generalist AI가 출시한 GEN-1.5가 주목받는 이유는 이 준비 과정을 몇 초짜리 시연으로 줄였기 때문이다. 핵심은 개별 성공률보다 로봇을 가르치는 인터페이스가 코드에서 행동 시연으로 바뀔 가능성에 있다.
몇 초의 행동이 프롬프트가 된다
GEN-1.5는 영상과 언어, 로봇 관절 상태를 나타내는 고유수용감각 등 여러 입력을 함께 처리하는 대규모 멀티모달 로봇 파운데이션 모델이다. 30초 길이의 컨텍스트 창을 사용하며, 초당 100회 빈도로 로봇의 행동 궤적을 출력한다.1
사용자는 3~12초 분량의 센서모터 시연을 컨텍스트 창에 넣는다. Generalist AI는 이 방식을 ‘물리적 프롬프팅’이라고 부른다. 그래디언트 업데이트나 미세 조정, 작업별 프로그래밍 없이도 모델이 시연의 의도를 추론해 작업을 실행하는 방식이다.1
10개의 조작 작업에서 원샷 인컨텍스트 프롬프팅의 평균 성과는 59%였다. 더 높은 성능이 필요할 때는 작업당 1~5분 분량의 데이터와 1~10회의 그래디언트 스텝을 사용하는 퓨샷 적응도 가능하다. 5분 분량의 데이터와 10회 업데이트를 적용했을 때는 평균 83%를 기록했다.1
핵심은 동작 복사가 아니라 일반화다
물리적 프롬프팅의 의미는 시연을 그대로 재생하는 데 그치지 않는다. GEN-1.5는 두 개의 서로 다른 물리적 프롬프트를 결합해 더 긴 행동 순서로 실행할 수 있다. 또한 사전학습 데이터에 시뮬레이션 데이터가 포함되지 않았는데도, 시뮬레이션에서 기록한 시연을 실제 로봇 작업의 프롬프트로 활용했다.1
다른 형태의 전이 사례도 제시됐다. 일부 작업에서는 카메라로 관찰한 사람의 손동작을 로봇 손으로 재현했고, 시연에 등장하지 않은 브러시나 쓰레받기 같은 도구를 사용했다. 특정 손으로 시연하거나 미세 조정한 작업을 반대쪽 손으로 수행하기도 했다.1
이러한 결과는 모델이 표면적인 움직임만 복제하기보다 작업의 목표와 수행 전략을 어느 정도 분리해 적용할 수 있음을 시사한다. 다만 개별 사례가 다양한 환경에서 동일하게 재현되는지는 별도로 확인해야 한다.
실제 도입에서는 즉시성과 신뢰성을 함께 봐야 한다
원샷 평균 성과 59%는 짧은 시연만으로 새 작업을 시작할 수 있다는 가능성을 보여주지만, 안정적인 현장 배치를 보장하는 수준으로 해석해서는 안 된다. 공개된 수치가 회사 자체 평가라는 점도 고려해 독립적인 검증 결과를 지켜볼 필요가 있다.2
실무적으로는 원샷과 퓨샷을 대립적인 방식으로 볼 필요가 없다. 초기 작업은 짧은 시연으로 빠르게 구성하고, 높은 신뢰성이 필요한 작업에는 소량의 데이터와 제한된 업데이트를 추가하는 단계적 접근이 가능하다. 성능을 평가할 때도 평균 성공률뿐 아니라 긴 작업의 유지력, 실패 후 복구 능력, 새로운 환경에서의 재현성을 함께 살펴야 한다.
요약: GEN-1.5의 가치는 한 번의 시연만 보고 모든 작업을 완벽하게 수행하는 데 있지 않다. 로봇 교육의 중심을 작업별 코드 작성과 반복 학습에서 짧은 행동 시연으로 옮길 가능성을 보여준다는 데 있다.
참고
1Generalist - GEN-1.5: Embodied Foundation Models are One-Shot Learners
2GEN-1.5: Generalist AI teaches robots new tasks from a single demo
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.