lerobot huggingface

소개

LeRobot은 실제 로보틱스 응용을 위한 최첨단 기계 학습 도구, 데이터셋 및 모델을 제공하는 HuggingFace의 오픈 소스 프로젝트입니다. 이 프로젝트의 목표는 로보틱스에 대한 접근 장벽을 낮추고, 모든 사람들이 데이터셋과 사전 학습된 모델을 공유하며 로보틱스 연구 및 개발에 기여할 수 있도록 하는 것입니다.

프랑스어로 르 로봇이라고 읽습니다. 르는 the 라는 뜻이 정관사입니다.

주요 기능

모델 및 데이터셋 제공

LeRobot은 PyTorch 기반의 모델, 데이터셋 및 도구를 제공합니다. 특히 모방 학습과 강화 학습에 초점을 맞춘 최첨단 접근 방식을 포함하며, 이 접근 방식은 실제 환경으로의 전이가 용이함이 입증되었습니다.

사전 학습된 모델 및 데이터셋

LeRobot은 이미 사전 학습된 모델과 사람이 수집한 시범 데이터셋, 그리고 시뮬레이션 환경을 제공하여, 로봇을 직접 조립하지 않고도 시작할 수 있도록 합니다. 향후 더 많은 실제 로보틱스 지원을 추가할 계획입니다.

시뮬레이션 환경

LeRobot은 다양한 시뮬레이션 환경(예: ALOHA, PushT 및 xArm)을 제공하여 사용자가 시뮬레이션 환경에서 모델을 훈련 및 평가할 수 있도록 하고 있습니다. 이러한 환경은 LeRobot의 구조 내에서 쉽게 설치 및 활용될 수 있습니다.

구성 요소

설치

LeRobot을 설치하려면 다음 명령어를 사용하여 소스 코드를 다운로드하고 가상 환경을 설정해 사용할 수 있습니다.

git clone https://github.com/huggingface/lerobot.git cd lerobot conda create -y -n lerobot python=3.10 conda activate lerobot pip install -e ".[aloha, pusht]"

데이터셋 시각화

LeRobot은 데이터셋의 시각화 도구를 제공하여 사용자가 데이터셋을 로컬에서 또는 서버를 통해 쉽게 시각화할 수 있습니다. 사용 예시는 다음과 같습니다:

python lerobot/scripts/visualize_dataset.py --repo-id lerobot/pusht --episode-index 0

정책 평가 및 학습

LeRobot은 사전 학습된 정책(Policy)을 평가하고 새로운 정책을 학습할 수 있는 다양한 스크립트와 도구를 제공합니다. 예를 들어, 사전 학습된 모델을 평가하려면 다음 명령어를 사용할 수 있습니다:

python lerobot/scripts/eval.py -p lerobot/diffusion_pusht eval.n_episodes=10 eval.batch_size=10

새로운 정책을 학습하려면 다음과 같이 명령어를 사용할 수 있습니다:

python lerobot/scripts/train.py policy=act env=aloha env.task=AlohaInsertion-v0 dataset_repo_id=lerobot/aloha_sim_insertion_human

실세계 로봇

LeRobot의 지침을 따라 실제 로봇을 구성하고 제어할 수 있습니다. 지침은 하드웨어 조립부터 로봇을 제어하는 신경망을 훈련시키는 과정까지 포괄적으로 다룹니다. 예시로 Koch v1.1 오픈 소스 로봇 키트가 있으며, 각 팔에는 6개의 모터가 장착되어 있습니다.

기여 및 미래 계획

LeRobot 프로젝트는 오픈 소스 생태계를 지지하며 로보틱스 커뮤니티를 성장시키기 위해 지속적으로 노력하고 있습니다. 향후 계획으로는 3D 프린팅이 필요 없는 저가형 로봇 Moss v1을 개발하여 150달러로 더 많은 사람들이 접근할 수 있도록 하는 것을 목표로 하고 있습니다. 또한, HuggingFace와 같은 플랫폼에서 향후 로봇의 기초 모델을 개발하는 것을 고려하고 있습니다.

결론

LeRobot은 로보틱스 분야에서 기계 학습의 접근성을 높이고, 새로운 연구 및 개발 가능성을 열어주는 중요한 프로젝트입니다. HuggingFace의 지원을 받아, 다양한 데이터를 공유하고 학습하며 로보틱스 커뮤니티에 기여할 수 있습니다.

150달러에 로봇을 개발할 수 있으면 진짜 난리나겠네요.

미시건 대학의 박정준 교수님도 참여하는 것으로 보입니다. This>That: Lerobot Tech Talk #7 by 박정준 - TILNOTE GIST AI 요약