Covariant 의 RFM-1 - LLM을 바탕으로 움직이는 로봇 모델

Covariant의 RFM

Covariant 가 RFM-1 (Robotics Foundation Model 1) 을 출시했습니다. RFM-1은 로봇 언어를 위한 LLM 입니다.

코베리언트는 제조, 식품 처리, 재활용, 농업, 서비스 산업 및 가정 내 로봇에 이르기 까지 다양한 분야의 로봇을 지원하는 것이 비전입니다.

이미지 출처 : covariant

Covariant는 이미 산업용 로봇을 출시하고 있습니다.

RFM-1을 사용하면 로봇이 인간처럼 작업을 배울 수 있습니다. RFM-1은 물품 픽업 로봇 데이터와 인터넷의 단어와 비디오로 훈련되었습니다.

모델은 텍스트, 이미지, 비디오, 로봇 지시, 측정 등 다섯 가지 유형의 입력으로 제어할 수 있습니다.
예를 들어, 스포츠 장비가 가득한 상자의 이미지를 보여주고, 테니스공 팩을 집어올리라고 지시할 수 있습니다. (이미지 인풋 + 지시문)

Covariant는 Pieter Abbeel, Peter Chen 등이 참여하여 만들어졌습니다. Pieter Abbeel은 UC Berkeley 교수입니다. Peter Chen 은 OpenAI의 초기 Research Scientist로 참여한 적이 있습니다.

LLM의 능력과 로봇의 능력을 결합하여 실시간 또는 다양한 행동을 할 수 있는 로봇을 만드는 것이 목표입니다.

LLM의 발전은 로봇의 발전으로 이어질 가능성이 있습니다.

참고 : An OpenAI spinoff has built an AI model that helps robots learn tasks like humans

생각

여러 인프라가 로봇으로 자동화 되는 시대가 오겠군요. 물론 아직은 비용의 문제도 있고 실시간 학습이 100% 가능할 정도로 완벽한 것은 아니기에 우리의 눈에 직접 보이기 까지는 시간이 좀 걸릴것 같습니다.

그럼에도 불구하고 비용 절감이나 생산성 면에서 도입이 될 것은 거의 확실해 보입니다.

물론 지금도 대규모 생산은 로봇화가 되어 있는 걸로 알고 있습니다. 하지만 LLM을 통해서 더 다양한 일들을 할 수 있게 된다면 더 많은 영역에 적용될 것 같습니다. 재활용을 구별할 때도 로봇을 통해 좀 더 정교하게 할 수 있겠죠.

구글도 로봇을 연구하고 있고 이 분야도 경쟁은 있을 것으로 보입니다.

추가적인 히스토리 정리

OpenAI에서 초기에 로봇을 드롭했다.

스핀오프 격으로 Pieter Abbeel, Peter Chen 등이 Covariant 를 만듬.

코베리언트는 산업용 로봇으로 포지셔닝하여 성공적으로 deploy함.

거기에서 학습한 데이터를 바탕으로 로봇을 위한 LLM 인 RFM-1 출시.

OpenAI 는 figure 나 1x 에 투자하여 로봇 시장 재진입 시도 중.

조만간 물류센터 분류도 사람이 안할거 같다.

AI가 전체적인 사회 인프라에 어떻게 영향을 주는지 생각을 해야할 때가 온 듯 한다.