감지한 세계를 행동으로 바꾸는 단계
앞 장에서는 피지컬 AI가 공간을 어떻게 이해하는지 살펴보았다. 카메라와 라이다가 물체를 감지하고, SLAM이 지도를 만들고, 로봇은 자신이 어디에 있는지 추정한다. 하지만 여기까지는 아직 "알고 있는 상태"에 가깝다. 피지컬 AI가 현실에서 가치를 만들려면 다음 질문에 답해야 한다.
지금 무엇을 해야 하는가?
물류 로봇이 창고 통로에서 상자를 발견했다고 해보자. 로봇은 상자가 있다는 사실만으로 움직일 수 없다. 상자를 피할지, 잠시 멈출지, 다른 통로로 돌아갈지, 사람에게 양보할지 판단해야 한다. 로봇 팔도 마찬가지다. 부품의 위치를 알아도 어떤 각도로 접근할지, 먼저 잡아야 할 부품은 무엇인지, 주변 장비와 부딪히지 않으려면 어떻게 움직여야 하는지 정해야 한다.
이처럼 피지컬 AI의 판단 단계는 감지된 정보를 실제 행동 후보로 바꾸는 과정이다. 이 단계에서 목표, 제약 조건, 위험, 시간, 에너지, 인간의 편의성이 함께 고려된다. 피지컬 AI의 두뇌는 단순히 "정답"을 고르는 장치가 아니라, 현실에서 실행 가능한 다음 행동을 선택하는 장치다.
AI 생성 이미지
목표는 행동 순서로 쪼개져야 한다
기계에게 "저 상자를 선반으로 옮겨라"라는 목표를 주면, 실제 행동은 여러 단계로 나뉜다.
현재 위치에서 상자까지 이동한다.
상자 주변에 사람이 있는지 확인한다.
로봇 팔을 뻗을 수 있는 위치에 선다.
상자를 안정적으로 잡는다.
선반까지 이동한다.
선반 높이에 맞춰 상자를 내려놓는다.
손을 떼고 결과를 확인한다.
사람에게는 자연스러운 과정이지만, 기계에게는 각각이 별도의 판단 문제다. 이동 경로를 찾는 문제, 집는 자세를 고르는 문제, 충돌을 피하는 문제, 작업 순서를 정하는 문제가 모두 들어 있다.
이때 중요한 개념이 작업 계획과 동작 계획이다. 작업 계획은 "무엇을 어떤 순서로 할 것인가"를 정하는 상위 단계다. 동작 계획은 "몸을 어떻게 움직여 그 작업을 실제로 수행할 것인가"를 정하는 하위 단계다. 로봇 연구에서는 이 둘을 함께 다루는 문제를 작업-동작 계획, 영어로 TAMP(Task and Motion Planning)라고 부른다. 최근 연구들은 TAMP를 상위의 작업 순서와 하위의 연속적인 움직임이 서로 제약을 주고받는 문제로 본다.1
예를 들어 로봇 팔이 컵을 옮기는 작업을 생각해보자. 작업 계획은 "컵을 잡고, 들어 올리고, 목표 위치에 놓는다"로 표현될 수 있다. 그러나 컵이 벽 가까이에 있으면 팔이 들어갈 공간이 부족할 수 있다. 그러면 하위의 동작 계획이 실패하고, 상위의 작업 계획도 바뀌어야 한다. 먼저 주변 물건을 치우거나, 다른 방향에서 접근해야 한다.
즉 좋은 판단 시스템은 큰 목표를 작은 행동으로 나누고, 그 작은 행동이 실제 물리 세계에서 가능한지 계속 확인해야 한다.
규칙, 최적화, 학습은 다르게 판단한다
피지컬 AI가 행동을 결정하는 방식은 크게 세 가지로 나눌 수 있다. 실제 시스템에서는 이 세 가지가 섞여 쓰이는 경우가 많다.
첫째는 규칙 기반 제어다. 사람이 미리 정한 조건과 규칙에 따라 행동한다. 예를 들어 "사람이 1미터 안에 있으면 정지한다", "신호등이 빨간색이면 멈춘다", "센서가 비상 정지를 감지하면 모든 모터 전원을 차단한다" 같은 방식이다. 규칙 기반 방식은 이해하기 쉽고 검증하기 쉽다. 안전과 관련된 핵심 조건에 자주 쓰인다. 하지만 모든 상황을 미리 규칙으로 작성하기 어렵다는 한계가 있다. 현실은 너무 다양하기 때문이다.
둘째는 최적화 기반 계획이다. 최적화란 여러 선택지 중에서 비용이 가장 낮거나 이익이 가장 큰 선택을 찾는 방법이다. 여기서 비용 함수는 "무엇을 줄이고 싶은가"를 숫자로 표현한 기준이다. 예를 들어 이동 시간, 에너지 사용량, 충돌 위험, 경로 길이, 급격한 회전, 사람과의 거리 부족 등을 비용으로 둘 수 있다. 로봇은 제약 조건을 만족하면서 비용이 낮은 경로를 선택한다.
자율주행차가 차선을 바꾸는 장면을 생각해보자. 가장 짧은 경로만 고르면 위험할 수 있다. 가장 안전한 경로만 고르면 지나치게 느려질 수 있다. 최적화 기반 계획은 "목표 지점에 도착하되, 충돌 위험을 낮추고, 승차감을 해치지 않으며, 교통 규칙을 지키는" 경로를 찾는다. 여기서 교통 규칙, 차량의 최대 회전각, 제동 한계, 차선 경계는 제약 조건이 된다.
셋째는 학습 기반 정책이다. 여기서 정책(policy)은 "현재 상태에서 어떤 행동을 할지 정하는 규칙"을 뜻한다. 사람이 직접 모든 규칙을 쓰는 대신, AI가 많은 데이터나 시뮬레이션 경험을 통해 행동 방식을 학습한다. 예를 들어 로봇 팔은 다양한 모양의 물체를 집어보며 어떤 손가락 위치와 힘 조절이 성공률을 높이는지 배울 수 있다. 물류 로봇은 사람이 많은 통로에서 어떤 속도와 간격이 자연스러운지 학습할 수 있다.
학습 기반 방식은 복잡하고 변수가 많은 상황에 강하다. 하지만 왜 그런 행동을 선택했는지 설명하기 어려울 수 있고, 학습하지 못한 상황에서는 예상 밖의 행동을 할 수 있다. 그래서 실제 피지컬 AI에서는 학습 기반 정책 위에 안전 규칙을 덧씌우거나, 최적화 기반 계획으로 행동을 한 번 더 점검하는 구조가 자주 필요하다.
경로 계획, 작업 순서, 충돌 회피는 함께 움직인다
피지컬 AI의 판단은 한 층에서 끝나지 않는다. 보통 여러 판단 모듈이 동시에 작동한다.
경로 계획은 시작 위치에서 목표 위치까지 어떻게 이동할지 정한다. 자율주행차라면 차선과 도로 구조를 따라 경로를 만든다. 창고 로봇이라면 선반 사이 통로를 지나 목적지까지 간다. 드론이라면 건물, 전선, 나무를 피하면서 비행 경로를 정한다.
작업 순서 계획은 여러 일을 어떤 순서로 처리할지 정한다. 스마트 팩토리의 로봇 팔은 부품 A를 먼저 조립할지, 부품 B를 먼저 검사할지 결정해야 한다. 순서가 잘못되면 나중에 팔이 들어갈 공간이 사라지거나, 이미 조립한 부품을 다시 분해해야 할 수 있다.
충돌 회피는 현재 움직임이 사람, 물체, 벽, 다른 로봇과 부딪히지 않도록 실시간으로 조정하는 기능이다. 계획된 경로가 있어도 현실에서는 누군가 갑자기 지나갈 수 있다. 바닥에 떨어진 박스가 새로 생길 수도 있다. 이때 피지컬 AI는 원래 계획을 고집하지 않고 속도를 줄이거나 멈추거나 우회해야 한다.
중요한 점은 이 세 기능이 따로 떨어져 있지 않다는 것이다. 작업 순서가 바뀌면 경로도 바뀐다. 경로가 막히면 작업 순서도 바뀔 수 있다. 충돌 위험이 커지면 현재 작업을 잠시 보류해야 한다. 그래서 피지컬 AI의 판단 구조는 하나의 거대한 명령문이라기보다, 여러 계층이 서로 정보를 주고받는 시스템에 가깝다.
불확실한 환경에서는 확률로 판단한다
현실 세계는 확실하지 않다. 센서는 가끔 틀리고, 사람은 예측하기 어렵고, 바퀴는 미끄러질 수 있다. 그래서 피지컬 AI는 "무조건 이렇다"가 아니라 "아마 이럴 가능성이 높다"는 방식으로 판단해야 한다.
이를 확률적 의사결정이라고 부른다. 확률적 의사결정은 불확실한 정보 속에서 가장 안전하고 합리적인 행동을 선택하는 방법이다. 예를 들어 물류 로봇이 통로 끝에서 사람이 나올 가능성을 감지했다면, 아직 사람이 완전히 보이지 않아도 속도를 줄일 수 있다. 자율주행차는 옆 차선 차량이 끼어들 가능성이 높다고 판단하면 미리 간격을 벌릴 수 있다.
이때 AI는 하나의 미래만 예측하지 않는다. 여러 가능한 미래를 생각한다. 사람이 그대로 걸어갈 경우, 갑자기 멈출 경우, 방향을 바꿀 경우를 함께 고려한다. 그리고 그중 위험한 경우의 비용을 높게 반영한다.
최근 로봇 계획 연구에서도 주변 사람의 미래 움직임을 하나로 단정하지 않고, 여러 예측 모델을 함께 사용해 불확실성을 추정한 뒤 경로 계획에 반영하려는 접근이 제안되고 있다.2 핵심은 빠르게 가는 것보다, 불확실성이 큰 상황에서 과신하지 않는 것이다.
피지컬 AI에게 과신은 위험하다. 화면 속 AI가 틀린 답을 내면 수정할 수 있지만, 움직이는 기계가 틀린 확신으로 행동하면 충돌이나 부상을 만들 수 있다. 그래서 좋은 피지컬 AI는 모를 때 멈추고, 위험할 때 천천히 움직이고, 확신이 낮을 때 사람에게 도움을 요청할 수 있어야 한다.
좋은 계획은 하나의 기준으로 정해지지 않는다
현실에서 가장 빠른 계획이 항상 좋은 계획은 아니다. 가장 짧은 경로도 항상 좋은 경로가 아니다. 피지컬 AI는 여러 기준을 동시에 고려해야 한다.
첫째, 목표 달성이다. 로봇은 주어진 일을 끝내야 한다. 물건을 옮기고, 부품을 조립하고, 목적지에 도착해야 한다. 목표를 달성하지 못하면 아무리 안전해도 시스템의 목적을 이루지 못한다.
둘째, 안전이다. 사람과의 거리, 충돌 가능성, 장비의 한계, 비상 정지 조건이 가장 중요한 기준이다. 특히 사람과 같은 공간에서 일하는 협동 로봇은 작업 속도보다 안전한 힘과 거리 유지가 우선이다.
셋째, 시간이다. 공장과 물류 현장에서는 지연이 비용으로 이어진다. 하지만 시간을 줄이려다 위험이 커지면 전체 시스템은 오히려 불안정해진다. 피지컬 AI는 빠른 행동과 안정적인 행동 사이에서 균형을 찾아야 한다.
넷째, 에너지 소비다. 이동 로봇과 드론은 배터리 한계가 있다. 짧지만 급격한 경로가 에너지를 많이 쓰는 경우도 있다. 부드러운 가속과 감속, 효율적인 경로 선택은 운영 시간을 늘린다.
다섯째, 인간의 편의성이다. 사람 옆을 지나는 로봇이 너무 가까이 지나가면 충돌하지 않아도 불편함을 준다. 자율주행차가 지나치게 급가속하거나 급제동하면 탑승자는 불안함을 느낀다. 병원 로봇이 복도 한가운데를 막고 서 있으면 사람의 흐름을 방해한다. 피지컬 AI는 물리적 안전뿐 아니라 사람이 자연스럽게 받아들일 수 있는 행동도 고려해야 한다.
결국 판단과 계획은 하나의 정답을 찾는 과정이 아니다. 여러 기준 사이에서 지금 상황에 가장 적절한 행동을 고르는 과정이다.
판단은 실행 뒤에 다시 수정된다
피지컬 AI의 계획은 종이에 그린 경로처럼 고정되어 있지 않다. 행동을 시작하면 현실이 다시 변한다. 로봇이 움직이면 센서의 시야가 바뀌고, 사람도 움직이고, 물체의 위치도 조금씩 달라진다. 그래서 피지컬 AI는 계획을 실행하면서 계속 확인해야 한다.
감지한다. 판단한다. 행동한다. 피드백을 받는다. 그리고 다시 판단한다.
이 순환이 없으면 피지컬 AI는 현실에 적응하지 못한다. 처음 세운 계획이 아무리 좋아도, 바닥에 물건이 떨어지거나 사람이 접근하면 계획은 바뀌어야 한다. 로봇 팔이 물체를 집었는데 예상보다 무겁다면 힘을 조절해야 한다. 드론이 바람에 밀리면 자세와 경로를 다시 계산해야 한다.
따라서 피지컬 AI의 두뇌는 완벽한 한 번의 결정을 내리는 장치가 아니다. 불완전한 정보 속에서 일단 안전한 다음 행동을 고르고, 행동 결과를 보고, 다시 더 나은 결정을 내리는 장치다.
이 점이 피지컬 AI를 단순 자동화와 구분한다. 단순 자동화는 정해진 조건에서 정해진 동작을 반복한다. 피지컬 AI는 목표를 이해하고, 상황을 해석하고, 여러 행동 후보를 비교하고, 현실의 피드백에 따라 계획을 고친다. 다음 장에서는 이렇게 선택된 계획이 실제 힘, 속도, 각도, 모터 제어로 어떻게 바뀌는지 살펴본다.
참고
1A Survey of Optimization-based Task and Motion Planning: From Classical To Learning Approaches
2Prediction uncertainty-aware planning using deep ensembles and trajectory optimisation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.