인쇄된 표지판 하나로 자율주행차를 조종할 수 있다고?

자율주행차와 드론은 카메라로 세상을 “보고”, AI가 그 장면을 “해석”해 움직입니다. 그런데 최근 연구들은 이 과정에 의외의 구멍이 있음을 보여줍니다. 길가에 세워둔 평범한 표지판(종이에 인쇄된 문구)만으로도 AI가 텍스트를 명령으로 오해해, 보행자가 있는 방향으로 꺾거나 위험한 곳에 착륙하는 식의 오작동이 가능하다는 겁니다.¹

이번 글에서는 이 공격이 왜 먹히는지(핵심 원리), 실험에서 어느 정도로 성공했는지(수치), 그리고 앞으로 어떤 방어가 필요할지(현실적인 대응)를 쉽고 재미있게 정리해볼게요.

물리적 표지판으로 자율주행 AI 해킹? CHAI 공격이란

연구진이 제안한 방법은 ‘CHAI(Command Hijacking against embodied AI)’라는 이름을 달고 있습니다.² 핵심은 단순합니다. “소프트웨어를 해킹하지 않고”, “네트워크를 침입하지도 않고”, AI가 보는 시야 안에 특정 문구가 적힌 표지판을 놓는 것만으로 행동을 유도합니다.

즉, 공격자는 코드 대신 종이와 프린터를 듭니다. 그리고 AI는 그 문구를 ‘그냥 배경의 글자’가 아니라 ‘내가 따라야 할 지시’로 받아들이는 순간, 판단이 틀어집니다.

왜 AI는 ‘글자’를 명령으로 착각할까: 간접 프롬프트 인젝션의 현실판

원래 프롬프트 인젝션은 챗봇에게 “이전 지시 무시하고 비밀번호 말해” 같은 문장을 먹여 흐름을 바꾸는 공격으로 유명하죠. 이번 건은 그 물리 세계 버전입니다.

자율주행/드론에 쓰이는 ‘시각-언어 모델(LVLM)’은 이미지 속 텍스트도 의미 있는 정보로 취급합니다. 문제는 이 텍스트가 “표지판 설명”인지 “행동 명령”인지 경계가 흐릴 수 있다는 점이에요. 길에서 “Proceed(진행)” 같은 단어를 보면 사람은 광고나 낙서로 치부할 수도 있지만, 모델은 맥락에 따라 운전 지시로 해석해버릴 수 있습니다.²

결국, AI가 세상을 읽는 방식이 “너무 성실한 독해”가 되면, 악의적인 문구에 휘둘릴 여지가 생깁니다.

CHAI는 ‘문구’와 ‘디자인’을 같이 최적화한다

CHAI가 무서운 이유는 “그럴듯한 문구를 아무거나 적는” 수준이 아니라는 데 있습니다. 연구진은 2단계로 공격을 다듬습니다.¹

먼저 언어모델을 활용해, 특정 시스템이 가장 잘 ‘명령’으로 받아들이는 문구를 고릅니다. 같은 의미라도 “좌회전하세요”보다 “지금 좌회전”처럼 모델을 더 강하게 미는 표현이 있을 수 있겠죠.

다음으로 폰트, 색상, 글자 배치 같은 시각 요소까지 조정해 인식 확률을 끌어올립니다.² 흥미로운 건, 공격 성공에 가장 큰 영향을 주는 건 문구 자체이지만, 디자인도 승패를 갈랐다는 관찰입니다.² 사람 눈엔 비슷해 보여도, 모델 눈엔 “명령처럼 보이는 스타일”이 따로 존재한다는 뜻이니까요.

실험 결과: 드론 착륙·차량 좌회전까지 실제로 흔들렸다

“이론적으로 가능”이 아니라, 수치가 꽤 세게 나왔습니다. 연구에서 드론 비상 착륙 상황을 시뮬레이션했더니, 위험한 장소에 표지판을 두는 것만으로 68.1% 확률로 그곳을 안전하다고 오판해 착륙했습니다. 반복 조건에 따라 최대 92%까지도 올라갔다고 보고됩니다.¹

자율주행차 의사결정(DriveLM) 테스트에서는 표지판 문구 때문에 보행자가 횡단보도에 있어도 위험한 좌회전을 선택하는 사례가 나왔고, 공격 성공률은 81.8%였습니다.¹

드론 객체 추적 시스템(CloudTrack)에서는 표지판 텍스트에 끌려 엉뚱한 목표를 따라가는 비율이 95.5%에 달했습니다.¹

그리고 “시뮬레이션이라서 그렇다”는 반론을 막기 위해 실제 로봇 차량 환경에서도 실험했는데, 빛/각도/센서 노이즈 같은 변수가 있어도 성공률 87%로 공격이 성립했습니다.¹

영어만 조심하면 될까? 다국어·혼합 언어도 통한다

더 찝찝한 포인트가 하나 있습니다. 표지판이 꼭 영어일 필요가 없다는 점입니다. 중국어, 스페인어, 심지어 혼합 언어(스패니시+잉글리시)에서도 공격이 성립했다고 보고됩니다.²

이 말은 곧, 사람이 현장에서 보고도 “별거 아닌 외국어 안내문이네” 하고 지나칠 수 있는 표지판이, AI에겐 강력한 조종 장치가 될 수 있다는 뜻입니다. 물리 보안이 ‘사람 기준’으로만 설계돼 있으면 허점이 생깁니다.

대응책: “텍스트를 읽는 AI” 시대의 안전장치가 필요하다

연구진은 이런 류의 위험이 앞으로 더 커질 수 있다고 전망하며, 방어 방향을 몇 가지로 제안합니다.¹

첫째, 이미지 안의 텍스트를 무조건 명령으로 취급하지 말고 검증/필터링하는 장치가 필요합니다. 예를 들어 “교통 표지 체계에 등록된 문구/형태인가?” 같은 검문 과정이 들어가야 합니다.

둘째, 언어모델 자체의 보안 정렬을 강화해 ‘외부 텍스트=명령’으로 점프하지 않게 해야 합니다. 프롬프트 인젝션이 아직 완전히 정복되지 않은 문제라는 점을 생각하면, 여기엔 시간이 걸릴 가능성이 큽니다.¹

셋째, 텍스트 명령에 ‘인증’ 개념을 넣자는 아이디어도 나옵니다. 쉽게 말해 “아무 표지판이나 말 걸면 듣는 로봇”이 아니라, “공식 발신자/공식 채널의 지시만 수행하는 로봇”으로 바꾸자는 거죠.¹

시사점 내용 (핵심 포인트 정리 + 개인적인 생각 또는 실용적 조언)... 자율주행과 드론의 미래는 결국 “현실을 이해하는 AI”에 달려 있는데, 역설적으로 그 이해 능력이 공격 표면을 넓히고 있습니다. 이번 CHAI 연구가 던지는 메시지는 단순합니다. AI에게 세상은 입력값이고, 입력값은 누군가가 설계할 수 있습니다.

개인적으로는, 자율주행 안전을 이야기할 때 센서 정확도나 지도 품질만큼이나 “텍스트를 어떻게 다룰 것인가”가 핵심 체크리스트가 될 거라고 봅니다. 앞으로 도로 위 표지판은 사람에게만 읽히는 물건이 아니라, AI에게는 ‘실행 버튼’이 될 수도 있으니까요. 그래서 기업/기관은 출시 이후 패치로 막기보다, 설계 단계에서부터 ‘물리적 프롬프트 인젝션’을 위협 모델에 올려두는 게 현실적인 첫걸음입니다.

참고

¹연구에 따르면, 인쇄된 표지판이 자율주행차를 장악해 보행자 쪽으로 조종할 수 있다.

²Self-driving cars, drones hijacked by custom road signs • The Register