로봇 AI는 화면 안에서 답을 생성하는 AI와 다릅니다. 자연어 명령을 이해하는 것만으로는 충분하지 않습니다. 로봇은 카메라로 세상을 보고, 좌표를 계산하고, 팔을 움직이고, 실패를 감지하며, 무엇보다 안전하게 멈출 수 있어야 합니다. 이 책은 그 복잡한 과정을 하나의 흐름으로 연결합니다.
먼저 로봇 AI가 왜 일반 AI보다 더 까다로운지 살펴본 뒤, 로봇 비전으로 물체를 찾고, RGB-D와 좌표 변환으로 3D 위치를 계산하며, MoveIt2와 Pick and Place로 실제 로봇팔 조작을 구성합니다. 이어서 모방학습과 강화학습을 통해 로봇이 사람의 시연과 시행착오에서 행동을 배우는 방법을 익힙니다.
마지막으로 LLM을 로봇의 저수준 제어기가 아니라 계획자이자 대화 인터페이스로 배치합니다. 사용자의 "빨간 컵을 오른쪽에 놓아줘" 같은 명령이 객체 인식, 작업 분해, 스킬 호출, 실행 검증, 실패 재계획으로 이어지는 전체 AI 로봇 에이전트 구조를 설계합니다.
이 책의 목표는 단순한 데모를 넘는 것입니다. 한 번 운 좋게 움직이는 로봇이 아니라, 실패를 보고하고 다시 시도하며 안전 제어 안에서 작동하는 로봇 에이전트를 만드는 관점을 제공합니다. AI와 로봇공학을 연결하고 싶은 개발자라면, 이 책을 통해 자연어 명령이 실제 물리 행동이 되기까지 필요한 핵심 구조를 차근차근 쌓아 갈 수 있습니다.
