AI 보안의 초점은 더 이상 “나쁜 질문에 답하지 않게 하기”에 머물 수 없습니다. 에이전트형 LLM은 이메일을 읽고, 웹사이트를 탐색하고, 파일과 코드 저장소를 다루며, 외부 도구와 다른 에이전트와도 상호작용합니다. 그만큼 공격자가 끼어들 수 있는 표면도 넓어집니다.
이때 핵심 위협이 프롬프트 인젝션입니다. 프롬프트 인젝션은 개발자나 사용자가 원하지 않는 행동을 하도록 지시문을 몰래 주입하는 공격입니다.1 지시문은 웹페이지, 이메일, 도구 응답, 코드, 코드 저장소처럼 평범해 보이는 입력 안에 숨을 수 있습니다.2 에이전트가 무언가를 “읽는” 순간, 그것이 곧 공격 경로가 될 수 있다는 뜻입니다.
GPT-Red는 무엇인가
GPT-Red는 OpenAI가 내부에서 훈련한 자동 레드팀 모델입니다. 레드팀은 소프트웨어나 시스템을 출시하기 전, 공격자 관점에서 깨뜨리거나 탈취할 방법을 찾아 약점을 보완하는 안전성 평가 방식입니다.1
GPT-Red의 역할은 사람 레드팀처럼 대상 모델을 시험하는 것입니다. 목표를 향해 프롬프트를 보내고, 모델의 응답을 관찰한 뒤, 공격이 더 잘 통하도록 지시문을 반복적으로 수정합니다.2 예를 들어 민감 데이터를 외부 서버로 업로드하게 만드는 식의 목표를 설정하고, 그 목표를 달성할 때까지 공격 방식을 바꿔 가며 시도할 수 있습니다.2
핵심 훈련 방식은 셀프플레이 강화학습입니다. GPT-Red는 방어자 LLM 집단을 상대로 공격을 시도하고, 유효한 실패를 유도하면 보상을 받습니다. 반대로 방어 모델은 공격을 막으면서 원래 작업을 완료하면 보상을 받습니다.2 방어자가 강해질수록 GPT-Red도 더 강하고 다양한 공격을 찾아야 하므로, 공격과 방어가 함께 고도화되는 구조가 만들어집니다.
왜 GPT-Red가 중요한가
GPT-Red가 중요한 이유는 AI 보안 평가의 기준을 현실에 더 가깝게 옮기기 때문입니다.
기존의 안전성 평가는 주로 채팅창에서 모델이 어떤 답을 하는지 확인하는 방식으로 이해되기 쉽습니다. 하지만 에이전트형 AI에서는 답변보다 행동이 더 중요합니다. 모델이 웹을 읽고, 이메일과 캘린더를 확인하고, 코드를 편집하고, 도구를 실행한다면 보안 평가는 “무엇을 말했는가”뿐 아니라 “무엇을 했는가”를 봐야 합니다.
OpenAI가 GPT-Red를 위해 웹 브라우징, 이메일·캘린더 읽기, 코드 편집 등 실제 배포 환경을 모방한 훈련 환경을 만든 것도 이 때문입니다.1 프롬프트 인젝션은 실제 사용 환경의 입력 속에 숨어 들어오기 때문에, 실험실의 단순한 문답만으로는 충분히 드러나지 않습니다.
성과도 주목할 만합니다. GPT-Red는 복제된 간접 프롬프트 인젝션 아레나에서 인간 레드팀을 84% 대 13%로 앞섰습니다.3 이 결과가 인간 보안 전문가의 역할이 사라진다는 뜻은 아닙니다. 오히려 자동화된 공격 모델이 반복 실험, 변형 생성, 취약 패턴 탐색에서 큰 속도 이점을 가진다는 점을 보여줍니다. 인간은 목표 설정, 위험 판단, 대응 설계에 집중하고, 자동화 모델은 대규모 탐색을 맡는 방식이 더 현실적입니다.
GPT-Red가 보여준 공격 방식
GPT-Red는 새로운 공격 유형도 찾아냈습니다. 대표적인 예가 ‘Fake Chain-of-Thought’입니다.1 이는 모델이 어떤 악성 지시를 이미 검토하고 승인한 것처럼 착각하게 만드는 공격 방식입니다.
이 사례가 중요한 이유는 프롬프트 인젝션이 단순히 “이전 지시를 무시해” 같은 노골적인 문장에 그치지 않는다는 점을 보여주기 때문입니다. 공격자는 모델이 신뢰하는 형식, 추론 흐름, 도구 응답처럼 보이는 구조를 이용할 수 있습니다. 따라서 방어 역시 특정 금지어를 막는 수준이 아니라, 입력 출처와 권한, 도구 실행 조건, 사용자 의도와의 일치 여부를 함께 따져야 합니다.
한계도 분명하다
GPT-Red가 강력하다고 해서 모든 공격을 자동으로 찾아낼 수 있는 것은 아닙니다. OpenAI는 GPT-Red가 멀티턴 공격과 이미지 기반 공격에서는 여전히 어려움을 겪는다고 밝혔습니다.1
이 한계는 실무적으로 중요합니다. 실제 공격은 한 번의 입력으로 끝나지 않을 수 있습니다. 여러 턴에 걸쳐 신뢰를 쌓거나, 이미지 안에 지시문을 숨기거나, 도구 사용 과정에서 우회 경로를 만들 수 있습니다. 따라서 GPT-Red 같은 자동 레드팀은 필수적인 보안 도구가 될 수 있지만, 그 자체가 완성된 방어 체계는 아닙니다.
기업이 얻어야 할 실무적 결론
GPT-Red의 메시지는 단순합니다. AI 에이전트를 도입한다면, 모델 성능만 볼 것이 아니라 공격 가능성을 전제로 시스템을 설계해야 합니다.
특히 다음 기준이 중요합니다.
에이전트가 접근할 수 있는 파일, 이메일, 코드, 외부 도구의 권한을 최소화한다.
외부 입력과 신뢰된 지시를 구분하는 구조를 만든다.
민감 작업에는 사용자 승인 절차를 둔다.
도구 실행, 파일 접근, 외부 전송 로그를 남긴다.
배포 전후로 지속적인 레드팀 테스트를 수행한다.
자동화된 공격 테스트와 인간 보안 검토를 함께 운영한다.
GPT-Red의 의미는 “AI가 AI를 공격한다”는 흥미로운 장면에 있지 않습니다. 더 중요한 결론은 앞으로의 AI 보안이 정적인 체크리스트가 아니라, 공격과 방어를 반복적으로 훈련하며 강해지는 구조로 바뀌어야 한다는 점입니다.
에이전트형 AI가 더 많은 일을 맡을수록, 보안 평가는 더 현실적인 환경에서 더 자주, 더 자동화된 방식으로 이루어져야 합니다. GPT-Red는 그 방향을 보여주는 사례입니다.
참고
1Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer
2OpenAI's GPT-Red Automates Prompt Injection Testing to Harden GPT-5.6 Sol
3OpenAI Introduces GPT-Red, an AI Attacker Built to Strengthen GPT-5.6
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.