안전, 신뢰성, 평가 기준

성공률만으로는 안전을 설명할 수 없다

로봇 평가에서 가장 먼저 보는 숫자는 성공률이다. 컵을 집어 올리는 작업을 100번 시도해 90번 성공했다면 성공률은 90%다. 이 숫자는 중요하다. 그러나 Physical AI의 세계에서는 충분하지 않다. 실패한 10번이 단순히 컵을 놓친 것인지, 컵을 깨뜨린 것인지, 사람의 손과 충돌한 것인지에 따라 의미가 완전히 달라진다.

그래서 로봇의 성능은 "얼마나 자주 성공했는가"와 함께 "실패했을 때 얼마나 안전했는가"로 평가해야 한다. 성공률이 조금 낮더라도 위험한 행동을 피하고 안정적으로 멈추는 로봇이, 높은 성공률을 보이지만 가끔 큰 사고를 내는 로봇보다 실제 현장에서는 더 가치 있을 수 있다.

기본 평가지표는 여러 축으로 나누어야 한다. 첫째, 작업 성공률이다. 지시한 목표를 실제로 달성했는지를 본다. 둘째, 완료 시간이다. 같은 작업을 너무 오래 끌면 생산 현장에서는 병목이 되고, 가정이나 병원에서는 사람이 불편을 느낀다. 셋째, 에너지와 움직임의 효율이다. 불필요하게 큰 동작은 배터리와 부품 수명을 줄이고 주변 위험도 키운다. 넷째, 충돌 횟수와 접촉 강도다. 로봇이 물체나 사람과 부딪혔는지, 부딪혔다면 얼마나 강했는지를 기록해야 한다. 다섯째, 복구 가능성이다. 물체를 잘못 집었을 때 다시 내려놓고 재시도할 수 있는지, 길이 막혔을 때 우회할 수 있는지, 불확실하면 사람에게 도움을 요청할 수 있는지를 본다.

이런 지표를 함께 보면 로봇의 성격이 드러난다. 어떤 로봇은 빠르지만 거칠고, 어떤 로봇은 느리지만 안정적이다. 어떤 모델은 쉬운 장면에서는 높은 성공률을 보이지만 조명, 물체 위치, 사람의 움직임이 조금만 달라져도 충돌이 늘어난다. 실제 배치에 필요한 것은 평균 점수가 아니라 조건이 바뀌어도 위험을 통제하는 능력이다.

AI 생성 이미지

위험은 모델의 오해에서 시작된다

VLA는 시각, 언어, 행동을 연결한다. 따라서 위험도 세 경로에서 발생한다. 언어를 잘못 이해할 수 있고, 장면을 잘못 볼 수 있으며, 행동으로 옮기는 과정에서 물리적 제약을 놓칠 수 있다.

첫 번째 위험은 명령 오해다. 사람이 "저 컵 치워 줘"라고 말했을 때, 로봇은 어느 컵인지, 어디로 치워야 하는지, 안에 뜨거운 음료가 있는지 판단해야 한다. 사람에게는 문맥으로 자연스럽게 보이는 정보가 로봇에게는 모호할 수 있다. 모호한 명령을 확신한 것처럼 실행하면 잘못된 물건을 버리거나 위험한 물체를 집을 수 있다.

두 번째 위험은 시각 인식 오류다. 투명한 컵, 반사되는 금속, 겹쳐 있는 물체, 어두운 조명은 로봇 비전을 어렵게 만든다. VLA가 시각적으로 비슷한 물체를 헷갈리면 행동은 물리적으로는 충돌 없이 수행되더라도 의미적으로는 틀릴 수 있다. 예를 들어 약병 대신 비슷한 모양의 다른 병을 집는다면, 팔의 움직임은 안전해 보여도 결과는 위험하다. 최근 안전 벤치마크가 물리적 충돌뿐 아니라 의미적 안전을 따로 평가하려는 이유도 여기에 있다.¹

세 번째 위험은 분포 밖 환경이다. 분포 밖 환경, 즉 아웃 오브 디스트리뷰션(out-of-distribution) 환경은 학습 때 충분히 보지 못한 조건을 뜻한다. 낯선 가구 배치, 처음 보는 도구, 예상보다 가벼운 물체, 바닥에 갑자기 놓인 장난감이 모두 해당한다. 사람은 이런 변화를 즉석에서 해석하지만, 로봇은 익숙한 패턴에 맞춰 무리하게 행동할 수 있다.

네 번째 위험은 예기치 않은 인간 개입이다. 로봇이 물체를 집으려는 순간 사람이 손을 뻗을 수 있다. 아이가 로봇 앞을 지나갈 수도 있고, 작업자가 로봇 경로에 도구를 놓을 수도 있다. 물리 세계는 멈춰 있는 사진이 아니다. 환경은 계속 움직이고, 로봇의 판단이 끝나기를 기다려 주지 않는다.

VLA 위에는 안전층이 필요하다

VLA 정책이 아무리 좋아져도 그것 하나만으로 로봇을 배치해서는 안 된다. 정책은 "무엇을 하면 좋을지"를 제안하지만, 시스템은 "해도 되는 행동인지"를 따로 확인해야 한다. 이 확인층이 안전 설계의 핵심이다.

안전 필터(safety filter)는 모델이 출력한 행동을 실행하기 전에 위험 여부를 검사하는 장치다. 예를 들어 VLA가 팔을 오른쪽으로 20cm 움직이라고 출력했더라도, 그 경로에 사람의 손이 있으면 안전 필터가 행동을 줄이거나 멈춘다. 안전 필터는 모델의 지능을 대체하지 않는다. 대신 모델의 실수를 마지막 단계에서 걸러 내는 보호막 역할을 한다.

제약 기반 제어(constraint-based control)는 로봇이 반드시 지켜야 할 조건을 수학적·규칙적으로 넣는 방식이다. 속도는 일정 값 이하로 제한하고, 힘은 허용 범위를 넘지 않게 하며, 특정 영역에는 팔이 들어가지 못하게 할 수 있다. 이는 자동차의 차선 유지나 속도 제한과 비슷하다. 운전자가 목적지를 정하더라도 차량은 물리 법칙과 안전 규칙 안에서 움직여야 한다.

비상 정지(emergency stop)는 가장 단순하지만 가장 중요한 안전 장치다. 로봇이 이해하지 못하는 상황에 빠졌거나 센서가 이상한 값을 내거나 사람이 위험 구역에 들어오면 즉시 멈춰야 한다. 좋은 비상 정지는 단지 전원을 끄는 버튼이 아니다. 멈췄을 때 물체를 떨어뜨리지 않는지, 무거운 팔이 갑자기 내려오지 않는지, 재시작 전에 상태를 다시 점검하는지까지 포함한다.

인간 승인 절차(human approval)는 고위험 행동에서 필요하다. 병원에서 약을 전달하거나, 공장에서 날카로운 도구를 다루거나, 가정에서 버릴 물건을 판단하는 경우 로봇이 단독으로 결정해서는 안 되는 순간이 있다. 이때 로봇은 "이 물건을 폐기해도 될까요?"처럼 사람에게 확인해야 한다. 이는 로봇을 덜 똑똑하게 만드는 것이 아니라, 책임 있는 시스템으로 만드는 절차다.

중요한 점은 안전층이 사후 보완이 아니라 처음부터 설계에 들어가야 한다는 것이다. VLA가 행동을 만들고, 제어기가 움직임을 계산하고, 안전 필터가 제한을 확인하고, 필요하면 인간이 승인하는 구조가 하나의 실행 루프 안에서 작동해야 한다.

벤치마크와 현장 사이의 간격

로봇 연구에서는 벤치마크가 필요하다. 같은 작업, 같은 환경, 같은 지표에서 여러 모델을 비교해야 발전 방향을 알 수 있기 때문이다. 그러나 벤치마크 점수는 현장 성능과 같지 않다. 시뮬레이터에서 95% 성공한 모델도 실제 창고에서는 조명, 먼지, 바닥 마찰, 작업자 움직임 때문에 전혀 다른 결과를 낼 수 있다.

이 간격을 줄이려면 평가 환경이 더 다양해야 한다. 물체 위치를 조금씩 바꾸고, 조명을 바꾸고, 방해 물체를 넣고, 사람이 가까이 지나가는 상황을 포함해야 한다. 단순히 "정답 행동을 했는가"만 볼 것이 아니라, 충돌 없이 멈췄는지, 잘못된 물체를 피했는지, 제한 시간 안에 복구했는지도 기록해야 한다. LIBERO-Safety 같은 연구가 시각적 변화, 물리적 안전, 의미적 안전, 사람과 가까운 상호작용을 함께 다루려는 흐름은 이런 문제의식에서 나온다.¹

또 하나 필요한 것은 재현성이다. 같은 모델을 다른 연구자가 평가했을 때 비슷한 결과가 나와야 한다. 이를 위해 평가 환경, 모델 입력 형식, 작업 설정, 로그 저장 방식을 표준화해야 한다. 최근 VLA 평가 프레임워크들은 여러 시뮬레이션 벤치마크와 모델을 공통 인터페이스로 연결하고, 실행 결과를 구조화된 파일로 저장하며, 컨테이너 환경으로 의존성 차이를 줄이려 한다.² 이런 기반은 단순한 편의 기능이 아니다. 로봇 성능을 비교 가능한 지식으로 바꾸는 장치다.

현장 평가에서는 로그가 특히 중요하다. 실패한 순간의 카메라 영상, 언어 명령, 로봇 상태, 출력 행동, 안전 필터의 개입 여부가 함께 남아야 한다. 그래야 사고를 "모델이 이상했다"로 뭉뚱그리지 않고, 언어 오해였는지, 센서 오류였는지, 제어 한계였는지, 운영 절차 문제였는지 분리할 수 있다.

평가는 단계적으로 진행되어야 한다. 먼저 시뮬레이션에서 다양한 조건을 통과하고, 다음으로 제한된 실제 환경에서 감독하에 테스트하며, 이후 사람과 떨어진 구역에서 장시간 운용하고, 마지막으로 사람과 가까운 공간에 배치하는 식이다. 각 단계에서 통과 기준은 달라야 한다. 연구실 데모의 기준과 병원 병실의 기준은 같을 수 없다.

사람 가까이에서 움직이는 기계의 책임

가정, 병원, 공장에는 공통점이 있다. 로봇이 사람의 생활과 노동 속으로 들어간다는 점이다. 이때 안전은 기술 문제가면서 동시에 윤리 문제다.

가정에서는 사생활이 중요하다. 로봇은 카메라와 마이크로 주변을 인식할 수밖에 없지만, 모든 데이터를 무제한 저장하거나 외부로 보내서는 안 된다. 사용자는 어떤 정보가 수집되고, 어디에 저장되며, 언제 삭제되는지 알 수 있어야 한다. 또한 아이, 노인, 반려동물처럼 예측하기 어려운 존재와 함께 있을 때는 더 보수적으로 움직여야 한다.

병원에서는 책임과 권한이 더 민감하다. 로봇이 물품을 운반하는 일과 환자 처치에 가까운 일은 위험 수준이 다르다. 약, 검체, 의료기기를 다루는 로봇은 실수의 비용이 크기 때문에 사람의 확인 절차와 명확한 기록이 필수다. 로봇이 "할 수 있는 일"과 "해서는 안 되는 일"의 경계를 운영 정책으로 분명히 해야 한다.

공장에서는 생산성과 안전이 함께 고려된다. 로봇이 너무 느리면 경제성이 떨어지고, 너무 빠르면 작업자에게 위협이 된다. 따라서 사람과 같은 공간에서 일하는 로봇은 자신의 의도를 예측 가능하게 보여 주어야 한다. 갑자기 방향을 바꾸거나, 경고 없이 팔을 뻗거나, 작업자의 관행을 무시하면 사고 가능성이 커진다.

책임의 문제도 남는다. VLA 모델을 만든 회사, 로봇 하드웨어 제조사, 현장에 통합한 시스템 업체, 실제 운영자가 모두 결과에 영향을 준다. 사고가 났을 때 누가 어떤 결정을 했는지 추적할 수 있어야 한다. 이를 위해서는 모델 버전, 데이터 업데이트, 안전 설정, 작업 로그가 관리되어야 한다.

Physical AI의 신뢰성은 완벽한 모델에서 나오지 않는다. 오히려 반대다. 모델이 틀릴 수 있다는 사실을 인정하고, 그 틀림이 사고로 이어지지 않도록 여러 겹의 방어선을 만드는 데서 나온다. 좋은 로봇은 언제나 성공하는 로봇이 아니다. 실패를 감지하고, 멈추고, 복구하고, 필요하면 사람에게 묻는 로봇이다. 다음 세대 로봇의 평가 기준은 바로 이 지점에서 바뀐다.

참고

¹LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models

²VLA Evaluation Harness