컴퓨터 웜은 스스로 복제해 네트워크를 타고 퍼지는 악성코드입니다. 전통적인 웜은 대개 정해진 취약점과 공격 절차를 반복했습니다. 방어도 비교적 명확했습니다. 취약점을 식별하고, 패치하고, 확산 경로를 차단하는 것이 핵심이었습니다.
AI 에이전트가 결합되면 이 전제가 흔들립니다. 웜이 단순히 미리 작성된 코드를 실행하는 수준을 넘어, 목표 환경을 관찰하고 다음 행동을 선택하는 구조에 가까워지기 때문입니다.1 핵심 변화는 “더 똑똑한 악성코드”가 아니라 “판단 루프를 가진 악성 자동화”입니다.
AI 에이전트가 웜에 더해지는 순간
LLM 기반 에이전트는 단순한 챗봇이 아닙니다. 계획 루프, 메모리, 도구 사용, 다중 에이전트 협업을 결합해 자연어 인터페이스로 판단하고 행동하는 시스템입니다.2
이 차이는 보안적으로 중요합니다. 정적인 예측 모델은 주로 답변을 생성하지만, 에이전트는 API 호출, 데이터베이스 읽기·쓰기, 웹 브라우징 같은 외부 작업을 수행할 수 있습니다.2 따라서 공격자가 에이전트의 판단 과정이나 입력 맥락을 장악하면 피해는 잘못된 답변에 그치지 않습니다. 데이터 유출, 악성 작업 실행, 시스템 탈취로 이어질 수 있습니다.
특히 많은 LLM 에이전트는 자신의 출력이 다시 입력으로 들어가는 반복 루프 구조를 사용합니다.2 이 구조에서는 한 번 오염된 문맥이 다음 판단에 계속 영향을 줄 수 있습니다. 프롬프트 인젝션이 위험한 이유도 여기에 있습니다. 교묘하게 구성된 언어 입력이 에이전트의 원래 의도를 우회해 명령처럼 작동할 수 있기 때문입니다.2
적응형 웜은 무엇이 다른가
토론토대·벡터연구소 연구진은 AI 기반 적응형 웜 개념을 실험으로 보였습니다. 이 웜은 Linux, Windows, IoT 장비가 섞인 격리 네트워크에서 공통적인 기업 환경 취약점을 이용해 확산했습니다.1
중요한 지점은 특정 취약점 하나가 아닙니다. 연구에서 제시된 웜은 대상 시스템에서 관찰한 정보를 바탕으로 공격 전략을 바꿨습니다.1 즉, 같은 코드가 같은 방식으로 반복되는 것이 아니라 환경에 맞춰 다음 행동을 선택하는 방식입니다.
또 하나의 변화는 실행 비용입니다. 연구진은 감염된 GPU 장비의 계산 자원을 이용해 LLM 추론을 지속하는 구조를 보였습니다.1 감염된 장비의 연산 자원을 사용하면 새 감염당 한계비용이 사실상 0에 가까워질 수 있다는 설명도 제시됐습니다.1 상용 AI API에 의존하지 않고 로컬 오픈 가중치 모델을 쓰면 서비스 차단이나 속도 제한 같은 중앙 통제의 효과도 제한됩니다.1
결국 적응형 웜은 확산 방식뿐 아니라 공격자의 비용 구조와 통제 가능성까지 바꿉니다.
방어 기준도 에이전트 단위로 바뀌어야 한다
이 위협을 모델 필터링 문제로만 보면 부족합니다. LLM 에이전트의 보안 위협은 문맥·프롬프트 조작, 탈옥, 인지 공격, 개인정보 공격, 에이전트 행동 유도, 가용성 공격, 정찰 위협 등으로 넓게 분류됩니다.2 공격 표면이 모델 자체에서 에이전트가 사용하는 도구, 메모리, 외부 문서, 반복 루프 전체로 확장되기 때문입니다.
따라서 방어도 여러 층에서 설계해야 합니다. 입력 정제, 적대적 학습, 정렬 튜닝, 아키텍처 보호장치, 모니터링, 가드레일, 워터마킹, 출처 검증 같은 접근이 함께 필요합니다.2
실무적으로는 다음 질문이 중요합니다.
에이전트가 호출할 수 있는 도구와 권한은 어디까지인가?
외부 문서나 웹페이지의 내용을 얼마나 신뢰하는가?
반복 루프에서 오염된 문맥이 누적되지 않도록 점검하는가?
에이전트의 행동 로그와 도구 호출 기록을 모니터링하는가?
중요한 작업에는 사람의 승인이나 별도 검증 절차가 있는가?
AI 에이전트를 업무 자동화에 붙이는 순간, 보안 기준도 자동화 수준으로 올라가야 합니다. 이제 핵심 질문은 “모델이 안전한가”에서 끝나지 않습니다. 더 먼저 물어야 할 것은 “이 에이전트가 무엇을 할 수 있고, 누가 그 행동을 유도할 수 있는가”입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.