이 장부터 책의 분위기가 조금 바뀐다. 이제 우리는 ALOHA를 이해하는 독자에서, 실제로 데이터를 모을 수 있는 사람 쪽으로 한 걸음 들어간다. 중요한 점은 하나다. ALOHA 계열 시스템은 멋진 로봇 전시물이 아니라, 좋은 행동 데이터를 꾸준히 뽑아내는 장비라는 것이다. 원래 ALOHA가 큰 반향을 일으킨 이유도 여기에 있었다. 비교적 낮은 비용으로 양손 원격조작과 모방학습 실험을 가능하게 했기 때문이다.1
무엇을 만들 것인지 먼저 결정하자
처음부터 모든 것을 다 하려고 하면 대개 실패한다. ALOHA 계열 시스템을 구축할 때는 먼저 자신이 만들려는 것이 세 가지 중 어디에 속하는지 정해야 한다.
테이블 위 양손 작업을 위한 정적 ALOHA 또는 ALOHA 2
더 오래, 더 편하게, 더 튼튼하게 데이터 수집하려는 ALOHA 2 중심 구성
이동 베이스까지 붙여 집안일이나 실내 작업을 다루는 Mobile ALOHA
대부분의 연구실과 스타트업, 그리고 개인 메이커에게 가장 현실적인 출발점은 정적 ALOHA 계열이다. 이유는 단순하다. 이동이 들어가는 순간 문제 수가 갑자기 늘어난다. 팔 제어만 보던 사람이 이제 베이스 안정성, 배터리, 무게중심, 주행 안전, 통신, 작업 공간 동선까지 함께 책임져야 한다. 그러니 첫 번째 목표는 '움직이는 로봇'이 아니라 '안정적으로 시연을 기록하는 로봇'이어야 한다.
이때 ALOHA 2는 좋은 중간 지점이 된다. 원래 ALOHA의 장점을 유지하면서도 그리퍼, 중력 보상, 프레임, 카메라, 유지보수성까지 다듬었기 때문이다. 특히 저마찰 그리퍼, 수동 중력 보상, 단순화된 프레임, 소형 RealSense D405 카메라 같은 개선은 장시간 원격조작과 반복 수집에 직접적인 도움이 된다.2
필수 구성요소는 다섯 가지가 아니라, 사실 여섯 가지다
보통 사람들은 팔과 카메라만 떠올린다. 하지만 실제 구축에서는 다음 여섯 요소를 함께 봐야 한다. 하나라도 약하면 전체 시스템이 금방 삐걱거린다.
팔: 리더와 팔로워의 역할을 분리해서 생각하자
ALOHA 계열의 기본은 네 대의 팔이다. 두 대는 사람이 직접 잡는 리더 팔, 두 대는 실제 작업을 수행하는 팔로워 팔이다. 이 구조의 핵심은 '정확히 같은 팔을 네 대 쓰는가'보다, 사람 손에 쥐는 쪽과 실제 작업하는 쪽의 요구사항이 다르다는 점이다.
리더 팔은 가벼워야 하고, 손맛이 좋아야 하며, 오래 잡아도 덜 피곤해야 한다. 반대로 팔로워 팔은 더 단단하고 반복 사용에 버텨야 하며, 작업 공간에서 카메라와 충돌을 덜 일으켜야 한다. ALOHA 2가 리더와 팔로워 그리퍼를 각각 다르게 다듬은 것도 바로 이 차이 때문이다.2
처음 구축하는 사람에게는 아주 중요한 교훈이 하나 있다. 팔의 최고 성능보다 '네 대가 매일 똑같이 붙고, 똑같이 켜지고, 똑같이 기록되는가'가 더 중요하다는 점이다. 데이터 수집 장비는 자동차 경주용 머신보다 택시에 가깝다. 화려함보다 출근율이 중요하다.
그리퍼: 예산을 아끼기 가장 위험한 부품
로봇 팔 자체보다 그리퍼가 데이터 품질에 더 큰 영향을 줄 때가 많다. 이유는 간단하다. 집기, 누르기, 비틀기, 밀기 같은 실제 작업의 대부분이 결국 손끝에서 망가지기 때문이다. ALOHA 2가 저마찰 레일 구조와 더 나은 그립 테이프를 강조한 이유도 이 때문이다. 조작자가 덜 힘들고, 작은 물체를 더 안정적으로 다루며, 지연이 덜 느껴질수록 시연 품질이 좋아진다.2
따라서 그리퍼는 '붙어 있으면 되는 부품'이 아니다. 손가락 마찰 재료, 개폐 저항, 반복 내구성, 과전류 보호까지 같이 봐야 한다. 데이터가 흔들리는 이유가 모델이 아니라 그리퍼 미끄러짐인 경우는 생각보다 많다.
프레임과 작업대: 로봇을 세우는 구조물이 아니라, 데이터를 안정화하는 구조물
프레임은 싸구려 선반처럼 보일 수 있지만, 실제로는 카메라와 팔 기준 좌표를 붙들어 주는 뼈대다. 작업 중 프레임이 조금만 흔들려도 카메라 시점이 달라지고, 결국 같은 작업이 다른 장면처럼 기록된다. ALOHA 2가 20x20mm 알루미늄 압출 프레임을 쓰면서도 구조를 단순화한 이유는 강성과 접근성 사이의 균형을 잡기 위해서였다.2
작업대는 무조건 넓을수록 좋은 것이 아니다. 너무 깊으면 조작자는 팔을 멀리 뻗어야 하고, 너무 좁으면 카메라와 로봇이 서로 부딪힌다. 처음에는 중간 크기의 테이블에, 자주 쓰는 작업 하나를 기준으로 셀을 조정하는 편이 낫다. '모든 과제에 맞는 범용 셀'을 처음부터 만들겠다는 생각은 대개 프레임 재조립 지옥으로 이어진다.
카메라: 많다고 좋은 것이 아니라, 일관되게 보이는 것이 좋다
원래 ALOHA 실험에서는 여러 시점의 RGB 카메라를 사용했고, 정책 입력에도 다중 시점 영상이 들어갔다.1 ALOHA 2는 더 작은 D405 기반 구성을 통해 손목 주변 시야와 작업 공간 점유를 개선하려고 했다.2 실무에서는 이 차이를 이렇게 이해하면 된다.
정적 ALOHA는 보통 손목 카메라와 상부 또는 전역 시점 카메라를 함께 둔다. Mobile ALOHA 쪽 공개 구현은 빠르게 시작하기 위한 3카메라 구성을 예시로 보여 준다.5 중요한 것은 카메라 개수 자체보다, 손이 물체를 가릴 때 다른 시점이 이를 보완해 주는지, 그리고 녹화가 반복 실행마다 같은 장면을 제공하는지다.
카메라를 설치할 때는 해상도보다 시야 안정성을 먼저 챙기자. 작은 작업을 잘 보려고 카메라를 너무 가까이 붙이면, 정작 팔이 카메라를 자주 가려 버린다. 반대로 너무 멀면 손끝 접촉이 보이지 않는다. 카메라의 임무는 예쁘게 찍는 것이 아니라, 정책이 헷갈리지 않게 보는 것이다.
컴퓨터: GPU보다 I/O가 먼저다
많은 초보 팀이 가장 먼저 비싼 GPU 워크스테이션부터 산다. 하지만 ALOHA 계열의 첫 병목은 대개 학습이 아니라 연결이다. 공식 ALOHA 저장소는 충분한 수의 USB 3 포트를 갖춘 컴퓨터를 권장하고, 네 대의 로봇 팔을 동시에 USB로 안정적으로 붙이는 것이 의외로 까다롭다고 경고한다. 특히 로봇 팔 연결에는 USB 허브 사용을 피하라고 안내한다.3
이 말은 아주 현실적이다. 원격조작과 데이터 기록 컴퓨터가 해야 할 일은 화려한 추론이 아니다. 네 대의 팔, 여러 대의 카메라, 타임스탬프, 저장 I/O를 동시에 버티는 것이다. 그러니 첫 온보드 컴퓨터를 고를 때는 다음 조건을 보자.
USB 포트 수와 각 포트의 실제 대역폭
저장장치의 연속 쓰기 성능과 안정성
장시간 구동 시 발열과 전원 안정성
재부팅 후 장치가 동일하게 다시 붙는지 여부
즉, 로봇의 두뇌를 고르는 것이 아니라, 로봇의 신경계를 고르는 셈이다.
전원과 케이블링: 가장 따분하지만 가장 자주 사람을 울리는 영역
실전에서 정말 자주 놓치는 것이 전원 멀티탭, 어댑터 간섭, 케이블 장력, 접지, 그리고 전원 인가 순서다. 팔 네 대와 카메라 여러 대, PC, 경우에 따라 이동 베이스까지 붙으면 작업대 밑은 금세 정글이 된다.
여기서 중요한 원칙은 간단하다. 케이블은 짧고, 장력은 분산하고, 당겨질 가능성이 있는 선은 고정하고, 사람이 발로 건드릴 수 있는 선은 보이지 않는 곳으로 보내야 한다. 원격조작자는 손으로 리더 팔을 움직이지만, 시스템을 망가뜨리는 쪽은 종종 발에 걸린 USB 선이다.
USB, 포트 이름, 지연: 책에는 잘 안 나오지만 현장에서는 매일 나오는 문제
ALOHA 계열 시스템을 처음 켜면 대부분의 사람은 비슷한 장면을 본다. 어제 잘 되던 장치가 오늘은 ttyUSB0이 아니라 ttyUSB5가 되고, 카메라 이름도 video0, video1이 뒤바뀐다. 그러면 오른손 리더가 왼손 팔로워를 움직이는, 꽤 황당한 순간이 찾아온다.
이 문제를 막는 표준적인 방법이 udev 규칙이다. 공식 저장소는 로봇 팔을 ttyDXL_master_right, ttyDXL_puppet_right, ttyDXL_master_left, ttyDXL_puppet_left처럼 고정 심볼릭 링크로 묶고, 카메라도 역할별 이름으로 고정하도록 안내한다.3 이 설정을 해 두면 USB를 다시 꽂아도 프로그램이 장치를 같은 역할로 인식한다.
또 하나는 지연이다. 공개 구현에는 Interbotix 모듈의 일부 정기구학 계산을 텔레오퍼레이션 중 비활성화해 반응 지연을 줄이라는 팁이 나온다.35 작은 수정처럼 보여도 체감 차이는 꽤 크다. 원격조작은 손과 화면 사이의 믿음으로 돌아가는데, 그 믿음이 계속 깨지면 좋은 시연은 금방 사라진다.
그리고 정말 중요한 사실 하나. Dynamixel Wizard 같은 디버깅 도구는 매우 유용하지만, ROS가 장치에 붙을 때는 반드시 꺼 두어야 한다. 카메라 스트림을 쓰는 다른 앱도 마찬가지다. 장비가 고장 난 것이 아니라, 단지 두 프로그램이 같은 장치를 동시에 잡고 있는 경우가 많다.35
가장 안전한 기본 소프트웨어 스택
처음 구축한다면 새롭고 멋진 조합보다 검증된 조합을 택하는 것이 좋다. 공개 ALOHA 및 Mobile ALOHA 구현은 ROS 1 Noetic 중심 흐름을 기준선으로 제시한다.35 다만 실제 운영체제 조합은 문서 시점과 패키지 버전에 따라 달라질 수 있으니, 새 환경에서는 공식 지원 범위와 의존성 호환성을 먼저 확인하는 편이 안전하다. 첫 시스템을 세우는 단계라면 ROS 2나 최신 배포판으로 일부러 불확실성을 늘릴 이유는 없다.
소프트웨어 스택은 대략 네 층으로 생각하면 편하다.
운영체제와 ROS
Interbotix 드라이버와 로봇 인터페이스
ALOHA 텔레오퍼레이션 및 데이터 기록 코드
학습용 Python 환경과 후처리 도구
공식 흐름은 비교적 분명하다. 먼저 Interbotix 문서를 따라 로봇 팔 인터페이스를 설치하고 워크스페이스를 만든다. 그다음 ALOHA 저장소를 워크스페이스 src 아래에 가져와 빌드한다. 이후 usb-cam, cv-bridge 같은 ROS 패키지와 Python 의존성을 설치해 원격조작, 에피소드 기록, 재생까지 이어 간다.34
여기서 꼭 기억할 점이 있다. ROS가 켜졌다고 시스템이 완성된 것이 아니다. 실제 완성은 다음 네 가지가 모두 되는 순간이다.
네 대의 팔이 재부팅 후에도 같은 이름으로 인식된다
카메라가 같은 시점 이름으로 다시 붙는다
roslaunch한 번으로 전체 노드가 올라온다짧은 시연을 기록하고 재생할 수 있다
즉, 설치의 끝은 성공적인 pip install이 아니라, 성공적인 record_episodes.py다.
조립 순서는 한 번에 가지 말고, 계단식으로 올라가자
초심자가 가장 많이 하는 실수는 팔 네 대, 카메라 여러 대, 학습 코드, 시뮬레이터까지 한 날에 올리려는 것이다. 그렇게 하면 실패 원인을 분리할 수 없다. 더 좋은 방법은 다음 순서다.
1단계: 작업대, 프레임, 전원 멀티탭, 케이블 경로를 먼저 정리한다.
2단계: 팔 한 대만 연결해 모터 인식과 기본 제어를 확인한다.
3단계: 네 대의 팔을 모두 붙이고 udev 이름 고정을 끝낸다.
4단계: 카메라를 추가하고 녹화 지연, 프레임 누락, 포트 충돌을 확인한다.
5단계: 양손 텔레오퍼레이션 테스트 후 짧은 에피소드를 기록하고 재생한다.
6단계: 그다음에야 데이터셋 구조, 학습 스크립트, 실험 자동화를 얹는다.
이 순서가 중요한 이유는 명확하다. ALOHA 계열 시스템의 첫 목적은 학습 모델이 아니라 시연 수집이기 때문이다. 시연 수집기가 불안정하면, 그 위에 어떤 알고리즘을 올려도 결과는 흔들린다.
Mobile ALOHA로 확장할 때 추가되는 것들
정적 셀을 안정화한 뒤에야 Mobile ALOHA 확장을 검토하는 것이 좋다. 공개 구현은 기본 ALOHA 구조 위에 이동 베이스를 더하고, 베이스를 CAN-to-USB로 연결해 제어하는 흐름을 제시한다.5 예를 들어 Tracer 계열 베이스를 붙일 때는 관련 SDK 설치, gs_usb 커널 모듈 활성화, can0 인터페이스 설정, candump를 통한 실제 통신 확인 같은 절차가 포함된다.5
이 과정에서 중요한 건 명령어 자체보다 순서다. 베이스가 붙는 순간, 시스템은 더 이상 책상 위 장비가 아니다. 움직이는 물체가 된다. 그래서 Mobile ALOHA 확장에서는 다음 문제가 새로 생긴다.
주행 중 팔이 흔들릴 때 카메라 시야가 얼마나 안정적인가
베이스 배터리와 컴퓨터 전원이 얼마나 오래 버티는가
비상 정지와 수동 개입 경로가 충분히 안전한가
팔 조작과 베이스 이동을 동시에 기록할 때 타임스탬프가 맞는가
이동 베이스는 기능 추가가 아니라 시스템 성격 변경에 가깝다. 그래서 Mobile ALOHA는 언제나 '정적 ALOHA의 다음 단계'로 생각하는 편이 맞다.
예산별로 어떻게 선택할 것인가
현실적인 구축은 예산 그 자체보다 우선순위의 문제다. 같은 돈으로도 어떤 팀은 빨리 시작하고, 어떤 팀은 반년 동안 조립만 한다.
개인 메이커 또는 소규모 팀
이 경우 가장 좋은 전략은 '완전 자작'보다 '검증된 조합 활용'이다. ALOHA 계열은 오픈소스이지만, 오픈소스라고 해서 모든 나사를 직접 깎아야 한다는 뜻은 아니다. 가능하면 상용 키트나 이미 검증된 부품 조합을 활용해 팔과 기본 프레임, 카메라 배치를 빠르게 안정화하는 편이 낫다. 원래 ALOHA도 저비용 접근성을 강점으로 내세웠고, ALOHA 2 쪽 역시 관련 키트와 튜토리얼이 공개되어 있다.12
개인 제작자에게 가장 비싼 것은 부품값보다 디버깅 시간이다. 그러니 처음부터 성능 최고점을 노리기보다, 공식 레포지토리와 최대한 비슷한 부품 구성을 택하는 것이 좋다.
연구실 표준형
연구실이라면 한 번의 데모보다 반복 수집이 중요하다. 이 경우 추천 전략은 ALOHA 2 성격에 가까운 구성이다. 즉, 장시간 조작 피로를 줄이고, 프레임 강성을 확보하고, 카메라 시점을 표준화하고, 유지보수가 쉬운 하드웨어를 선택하는 것이다.2
연구실은 사람도 바뀌고 실험도 바뀐다. 따라서 부품의 절대 성능보다 문서화와 재현성이 중요하다. 누가 와도 같은 포트 이름으로 장비를 붙이고, 같은 체크리스트로 촬영을 시작할 수 있어야 한다.
스타트업 또는 제품 검증 팀
스타트업은 속도가 생명이다. 이 경우 상용 키트 활용 비중을 더 높이는 편이 낫다. 공식 문서와 판매 키트가 있는 구성은 조립 리스크와 드라이버 리스크를 줄여 준다.24 다만 여기서도 주의할 점이 있다. 키트를 사면 로봇을 산 것이지, 곧바로 데이터 공장을 산 것은 아니다.
스타트업이 진짜로 투자해야 하는 영역은 다음이다.
작업별 셀 설계와 안전 동선
시연자 교육과 품질 관리
데이터 저장 구조와 버전 관리
실패 원인 기록과 하드웨어 점검 루틴
즉, 하드웨어 구매는 출발선이지 골인이 아니다.
상용 키트를 쓸 것인가, 직접 조립할 것인가
이 질문에는 멋있는 답보다 솔직한 답이 필요하다. 연구 목적이 하드웨어 설계 자체라면 직접 조립하는 편이 맞다. 하지만 목표가 데이터 수집과 모방학습 성능 검증이라면, 가능한 많은 불확실성을 제거하는 편이 낫다.
ALOHA 2 프로젝트는 하드웨어 설계와 튜토리얼, MuJoCo 모델까지 공개하고 있고, 관련 키트 구매 경로도 제시한다.2 Trossen 문서 역시 ALOHA와 Mobile ALOHA의 시작, 운영, 학습, 평가까지 연결되는 가이드를 제공한다.4 이런 자료를 활용하면 적어도 '이 부품 조합이 원리적으로 맞는가'라는 불안을 줄일 수 있다.
직접 조립의 장점은 싸게 맞출 가능성과 깊은 이해다. 단점은 시간이 오래 걸리고, 작은 오차가 쌓이면 매일 정렬을 다시 잡아야 한다는 점이다. 상용 키트의 장점은 빠른 시작과 문서화다. 단점은 부품 자유도가 낮고, 특정 구성에 맞춰 생각이 굳기 쉽다는 점이다.
좋은 절충안은 이렇다. 첫 시스템은 최대한 공식 구성에 가깝게 만들고, 두 번째 시스템부터 자신만의 그리퍼, 카메라 마운트, 프레임 변형을 넣는다. 첫 번째 시스템은 배우는 용도, 두 번째 시스템은 최적화 용도다.
처음 완성했을 때의 합격 기준
시스템을 다 만들고 나면 사람은 자꾸 어려운 작업을 시켜 보고 싶어진다. 하지만 진짜 합격 기준은 놀라운 성공 영상이 아니다. 다음 기준을 먼저 통과해야 한다.
재부팅 세 번 후에도 모든 장치 이름이 바뀌지 않는다.
10분 이상 원격조작할 때 지연과 끊김이 눈에 띄지 않는다.
짧은 에피소드를 기록하고 그대로 재생할 수 있다.
하루가 끝났을 때 케이블, 전원, 그리퍼, 카메라 중 어느 부분이 약한지 바로 알 수 있다.
이 네 가지가 되면, 비로소 ALOHA 계열 시스템은 로봇이 아니라 데이터 수집 장비로서 쓸 만해진다. 그리고 그때부터가 진짜 시작이다. 다음 장에서는 이런 시스템으로 어떻게 좋은 시연을 운영하고, 어떤 데모가 학습에 도움이 되며, 실패 데이터를 어떻게 다뤄야 하는지를 본격적으로 다룰 것이다.
결국 ALOHA 계열 구축의 핵심은 화려한 BOM이 아니다. 좋은 행동 데이터를 모으는 데 필요한 마찰을 하나씩 줄여 가는 일이다. 팔을 고르고, 그리퍼를 다듬고, 포트 이름을 고정하고, 지연을 줄이고, 시연자가 덜 지치게 만드는 일. 이런 사소해 보이는 선택들이 쌓여서, 나중에는 로봇의 행동 지능으로 바뀐다. 이 책이 말하는 로봇 AI의 병목은 바로 거기 있다. 모델 앞에서가 아니라, 데이터가 태어나는 작업대 위에서 말이다.
참고
1Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
2ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.