현실 세계를 감지하는 기술

감지는 피지컬 AI의 출발점이다

피지컬 AI는 먼저 현실을 감지해야 한다. 현실을 제대로 보지 못하는 AI는 제대로 행동할 수 없다. 로봇 팔이 사람의 손을 상자로 착각하면 위험해지고, 자율주행차가 젖은 도로 위의 보행자를 늦게 발견하면 판단이 아무리 뛰어나도 소용없다.

여기서 감지는 단순히 "카메라로 본다"는 뜻이 아니다. 빛, 거리, 속도, 소리, 압력, 진동, 온도 같은 물리 세계의 신호를 기계가 처리할 수 있는 데이터로 바꾸는 과정이다. 이때 쓰이는 장치가 센서다. 센서는 현실의 상태를 숫자와 신호로 변환한다. AI는 그 숫자를 바탕으로 사람, 물체, 벽, 빈 공간, 위험한 움직임을 추정한다.

사람은 눈, 귀, 피부, 균형 감각을 함께 사용한다. 피지컬 AI도 비슷하다. 하나의 센서만으로는 현실을 안정적으로 이해하기 어렵다. 그래서 카메라, 라이다, 레이더, 초음파 센서, 마이크, 촉각 센서가 각자의 방식으로 세계를 감지하고, 그 정보를 함께 사용한다.

AI 생성 이미지

센서마다 보는 세계가 다르다

카메라는 가장 익숙한 센서다. 카메라는 빛을 받아 이미지로 만든다. 색, 모양, 질감, 글자, 표지판, 사람의 자세처럼 의미 있는 정보를 얻는 데 강하다. 예를 들어 물류 로봇은 카메라로 바코드와 상자 모양을 읽고, 자율주행차는 차선과 신호등을 인식한다. 다만 카메라는 조명에 민감하다. 역광, 어두운 밤, 강한 그림자, 눈부신 반사에서는 같은 물체도 다르게 보일 수 있다.

라이다는 빛을 쏘고 되돌아오는 시간을 재서 거리를 측정하는 센서다. 보통 3차원 점들의 집합인 포인트 클라우드로 주변 구조를 표현한다. 포인트 클라우드는 물체 표면에 찍힌 수많은 거리 점이라고 이해하면 된다. 라이다는 물체까지의 거리와 형태를 파악하는 데 강하다. 창고 로봇은 라이다로 벽과 선반 사이의 거리를 재고, 자율주행차는 차량과 보행자의 위치를 3차원으로 파악한다. 대신 카메라처럼 색이나 글자를 풍부하게 읽지는 못한다.

레이더는 전파를 쏘고 반사되어 돌아오는 신호를 분석한다. 레이더의 큰 장점은 속도 감지다. 도플러 효과를 이용하면 앞차가 가까워지는지 멀어지는지, 어느 정도 속도로 움직이는지 알 수 있다. 또한 비, 안개, 먼지, 어둠에 비교적 강하다. 그래서 자율주행차와 운전자 보조 시스템에서 장거리 물체 감지와 추적에 많이 쓰인다.

초음파 센서는 사람이 듣기 어려운 높은 주파수의 소리를 이용해 가까운 거리의 물체를 감지한다. 자동차 후방 주차 센서를 떠올리면 쉽다. 초음파는 구조가 비교적 단순하고 비용이 낮지만, 멀리 있는 물체나 복잡한 형태를 자세히 파악하는 데는 한계가 있다. 가까운 거리에서 "앞에 무엇인가 있다"를 확인하는 용도에 적합하다.

마이크는 소리를 감지한다. 피지컬 AI에서 소리는 단순한 음성 명령 이상의 의미를 가진다. 공장 설비의 이상한 진동음, 드론 주변의 접근 소리, 병원 로봇을 부르는 사람의 음성, 깨지는 소리처럼 시각 센서가 놓치는 신호를 제공한다. 여러 개의 마이크를 사용하면 소리가 어느 방향에서 왔는지도 추정할 수 있다.

촉각 센서는 접촉, 압력, 힘, 미끄러짐을 감지한다. 로봇 손이 물체를 잡을 때 특히 중요하다. 카메라가 "컵이 있다"고 알려주더라도, 실제로 컵을 얼마나 세게 잡아야 하는지는 손끝의 힘 센서가 알려준다. 너무 약하면 놓치고, 너무 강하면 깨뜨린다. 촉각 센서는 피지컬 AI가 현실과 직접 닿는 순간의 피드백을 제공한다.

하나의 센서만 믿으면 위험하다

현실 환경에서는 센서가 자주 실패한다. 카메라는 어두우면 약해지고, 라이다는 유리나 반사 표면에서 이상한 값을 낼 수 있다. 레이더는 물체의 정확한 형태를 세밀하게 구분하는 데 약할 수 있고, 마이크는 주변 소음에 영향을 받는다. 촉각 센서는 닿기 전까지는 정보를 얻기 어렵다.

이 한계를 보완하기 위해 센서 퓨전이 사용된다. 센서 퓨전은 여러 센서의 정보를 합쳐 더 안정적인 판단을 만드는 기술이다. 쉽게 말해, 한 사람의 증언만 듣지 않고 여러 증언을 대조해 상황을 파악하는 방식이다.

예를 들어 자율주행차 앞에 사람이 있다고 하자. 카메라는 이미지에서 사람의 형태를 찾는다. 라이다는 그 사람이 차로부터 몇 미터 떨어져 있는지 측정한다. 레이더는 그 사람이 움직이고 있는지, 차량 쪽으로 다가오는지 추정한다. 세 정보가 함께 맞아떨어지면 시스템은 더 확신을 가지고 감속하거나 정지할 수 있다.

카메라와 라이다를 함께 쓰면 장점이 분명해진다. 카메라는 풍부한 색과 질감 정보를 제공하지만 거리를 직접 재는 데 약하고, 라이다는 정확한 거리와 형태 정보를 제공하지만 의미 정보가 부족하다. 두 정보를 정렬해 함께 사용하면 물체 인식의 안정성이 높아진다. 실제 연구에서도 라이다의 깊이 정보와 카메라 이미지를 결합하면 단일 센서만 사용할 때보다 물체 검출이 더 안정적일 수 있음을 보여준다.¹

센서 퓨전은 반드시 모든 데이터를 처음부터 하나로 섞는다는 뜻은 아니다. 어떤 시스템은 원시 데이터를 먼저 합치고, 어떤 시스템은 각 센서가 따로 물체를 인식한 뒤 결과를 비교한다. 또 어떤 시스템은 중간 특징만 결합한다. 중요한 것은 방식보다 목적이다. 피지컬 AI가 더 적은 불확실성으로 현실을 이해하게 만드는 것이다.

현실은 센서에게 친절하지 않다

실험실에서는 센서가 잘 작동한다. 조명은 일정하고, 물체는 정해진 위치에 있고, 배경은 깨끗하다. 하지만 실제 현장은 다르다.

공장에는 먼지와 진동이 있다. 물류센터에는 반짝이는 비닐 포장재와 빠르게 움직이는 작업자가 있다. 도로에는 비, 눈, 안개, 역광, 터널, 야간 조명이 있다. 가정에는 반려동물, 장난감, 얇은 전선, 투명한 유리문처럼 예측하기 어려운 물체가 많다.

가림 현상도 큰 문제다. 가림 현상은 한 물체가 다른 물체 뒤에 숨어 센서에서 일부만 보이는 상황이다. 예를 들어 아이가 주차된 차 사이에서 갑자기 나올 때, 카메라는 처음에 몸의 일부만 볼 수 있다. 창고에서는 지게차 뒤에 사람이 가려질 수 있다. 이런 상황에서 피지컬 AI는 보이는 일부 정보만으로 위험 가능성을 추정해야 한다.

소음도 감지를 어렵게 만든다. 여기서 소음은 마이크에 들어오는 소리만 뜻하지 않는다. 센서 데이터에 섞인 불필요한 흔들림과 오차도 소음이다. 카메라 이미지의 흔들림, 라이다 점의 누락, 레이더 반사 신호의 혼선, 힘 센서의 미세한 떨림이 모두 판단을 흐릴 수 있다.

그래서 좋은 피지컬 AI 시스템은 "한 번 보고 맞히는 모델"이 아니라 "계속 보고 갱신하는 시스템"에 가깝다. 현재 센서값만 보지 않고, 직전 순간의 위치와 속도, 과거의 움직임, 주변 상황을 함께 본다. 감지 결과가 불확실하면 속도를 줄이거나, 다시 관찰하거나, 안전한 정지 상태로 들어가야 한다.

원시 데이터는 바로 행동으로 이어지지 않는다

센서가 만든 데이터는 처음에는 사람이 이해하기 어려운 형태다. 카메라는 픽셀값을 만든다. 라이다는 3차원 좌표 점들을 만든다. 레이더는 반사 신호와 거리·속도 정보를 만든다. 마이크는 시간에 따라 변하는 음파 신호를 만든다. 촉각 센서는 압력과 힘의 변화를 만든다. 이것을 원시 센서 데이터라고 한다.

AI가 이 원시 데이터를 바로 행동 명령으로 바꾸는 경우는 드물다. 보통 몇 단계를 거쳐 해석 가능한 정보로 변환한다.

첫째, 전처리를 한다. 전처리는 데이터를 쓰기 좋은 상태로 다듬는 과정이다. 이미지의 밝기를 보정하고, 라이다 점에서 불필요한 잡음을 제거하고, 마이크 신호에서 배경 소음을 줄인다. 여러 센서를 함께 쓸 때는 시간과 위치를 맞추는 작업도 필요하다. 카메라가 본 순간과 라이다가 측정한 순간이 조금만 어긋나도 빠르게 움직이는 물체의 위치가 달라질 수 있기 때문이다.

둘째, 객체 인식을 한다. 객체 인식은 데이터 안에서 의미 있는 대상을 찾는 과정이다. 사람, 차량, 상자, 로봇 팔, 문, 작업대, 장애물을 구분한다. 피지컬 AI에서 객체 인식은 단순한 이름 붙이기가 아니다. "저것이 사람인가?"뿐 아니라 "어디에 있고, 얼마나 가까우며, 내 행동에 영향을 주는가?"까지 연결된다.

셋째, 거리 추정과 공간 배치를 계산한다. 로봇에게 중요한 것은 물체의 존재만이 아니라 위치다. 컵이 있다는 사실보다 컵이 손끝에서 12센티미터 앞에 있는지, 테이블 가장자리에 걸쳐 있는지가 더 중요하다. 라이다와 레이더는 거리 정보를 직접 제공하고, 카메라는 여러 장의 이미지나 학습된 모델을 통해 깊이를 추정할 수 있다.

넷째, 자세 추정을 한다. 자세 추정은 사람이나 물체의 방향, 관절 위치, 기울기 등을 파악하는 기술이다. 협동 로봇이 사람 옆에서 일할 때는 사람이 어느 방향을 보고 있는지, 팔이 어느 위치에 있는지 알아야 충돌을 피할 수 있다. 로봇 팔이 부품을 집을 때도 부품이 어느 방향으로 놓였는지 알아야 한다.

다섯째, 이상 감지를 한다. 이상 감지는 평소와 다른 패턴을 찾아내는 과정이다. 공장 설비의 소리가 갑자기 달라지거나, 컨베이어 위 물체가 비정상적으로 흔들리거나, 로봇 관절의 힘이 예상보다 크게 변하면 시스템은 문제 가능성을 감지한다. 이상 감지는 고장이 난 뒤 멈추는 것이 아니라, 문제가 커지기 전에 행동을 바꾸게 한다.

감지는 판단과 행동의 품질을 결정한다

피지컬 AI의 판단은 센서 데이터 위에 세워진다. 감지가 흔들리면 판단도 흔들리고, 판단이 흔들리면 행동은 위험해진다. 그래서 감지는 단순한 입력 단계가 아니라 전체 시스템의 안전성과 성능을 좌우하는 기반이다.

좋은 감지 시스템은 세 가지 특징을 가진다. 첫째, 여러 종류의 센서로 서로의 약점을 보완한다. 둘째, 현실 환경의 조명, 먼지, 비, 소음, 가림 현상을 고려한다. 셋째, 원시 데이터를 객체, 거리, 자세, 이상 신호처럼 행동에 필요한 정보로 바꾼다.

이렇게 감지된 정보는 다음 단계에서 공간 이해로 이어진다. 피지컬 AI는 단지 물체를 찾는 데 그치지 않는다. 어디가 지나갈 수 있는 공간인지, 무엇이 움직이고 있는지, 어떤 행동이 안전한지 이해해야 한다. 감지는 현실을 데이터로 바꾸는 일이고, 공간 이해는 그 데이터에 의미와 구조를 부여하는 일이다.

참고

¹Real time object detection using LiDAR and camera fusion for autonomous driving