AI의 보안 능력을 평가할 때 핵심 질문은 더 이상 “코드를 잘 쓰는가”에 머물지 않습니다. 실제로 중요한 것은 “현실의 취약점을 이해하고, 재현하고, 악용 가능한 단계까지 발전시킬 수 있는가”입니다.
ExploitBench는 이 질문을 직접 측정하려는 벤치마크입니다. 카네기멜런대학교 연구진은 Google V8 JavaScript 엔진의 실제 취약점을 대상으로, AI 모델이 브라우저 익스플로잇을 어디까지 구성할 수 있는지 평가했습니다.1
ExploitBench가 중요한 이유
ExploitBench의 차별점은 단순한 문제 풀이가 아니라 공격 흐름의 진행도를 본다는 데 있습니다. 취약점 분석에서 시작해 임의 코드 실행까지 이어지는 과정을 5개 단계로 나눠 평가합니다.1
여기서 임의 코드 실행은 공격자가 대상 시스템에서 원하는 코드를 실행할 수 있는 상태를 뜻합니다. 보안 관점에서는 가장 위험한 결과 중 하나입니다.
이 접근은 기존 AI 코딩 평가와 다릅니다. 일반적인 벤치마크가 “정답을 냈는가”를 묻는다면, ExploitBench는 “현실의 취약점을 실제 공격 체인으로 발전시킬 수 있는가”를 묻습니다. 따라서 이 벤치마크는 AI의 코딩 실력보다 보안 연구와 공격 자동화에 가까운 능력을 보여줍니다.
성능 수치에서 봐야 할 것
인간 힌트가 있는 조건에서 Claude Mythos Preview는 41개 취약점 중 21개에서 최고 단계에 도달했고, 평균 9.90/16점을 기록했습니다.1 GPT-5.5는 같은 조건에서 평균 5.51점을 기록했으며, 2개 취약점에서 최고 단계에 도달했습니다.1
이 결과에서 중요한 점은 두 가지입니다.
첫째, 최신 AI 모델은 일부 실제 취약점에서 공격 과정을 상당히 진전시킬 수 있습니다. 이는 AI가 취약점 분석과 익스플로잇 개발의 보조 도구를 넘어, 특정 조건에서는 공격 체인의 핵심 실행자 역할을 할 수 있음을 시사합니다.
둘째, 모델 간 격차가 큽니다. 이제는 “AI가 가능한가”보다 “어떤 모델이, 어떤 조건에서, 어느 단계까지 가능한가”를 따져야 합니다. 보안팀이 AI 도구를 평가할 때도 단순한 생성 품질이 아니라 취약점 재현, 단계별 진행도, 최종 영향도까지 함께 봐야 합니다.
다만 이 결과는 인간 힌트가 있는 설정에서 나온 것입니다. 완전 자율 공격 능력을 입증했다기보다는, 전문가가 방향을 제시할 때 AI가 얼마나 강력한 실행 도구가 될 수 있는지를 보여준 것으로 해석하는 편이 정확합니다.
비용은 성능만큼 중요한 변수다
성능만 보면 Claude Mythos Preview가 더 강력해 보입니다. 하지만 비용을 함께 보면 판단이 달라집니다. ExploitBench 전체 테스트 비용은 Claude Mythos Preview 122회 실행에 약 36,428달러, GPT-5.5 via Codex 123회 실행에 약 3,075달러였습니다.1
이 차이는 실무적으로 중요합니다. 공격자에게는 비용이 실질적인 장벽이 될 수 있고, 방어자에게는 평가 자동화와 레드팀 운영 예산의 문제가 됩니다. 앞으로 AI 기반 보안 평가에서는 “성공률”만이 아니라 “성공 1건당 비용”과 “반복 실행 가능성”도 함께 고려해야 합니다.
보안팀이 얻어야 할 교훈
ExploitBench가 주는 메시지는 단순히 “AI가 위험해졌다”가 아닙니다. 더 정확히는 취약점 분석의 속도, 비용, 반복 가능성이 바뀌고 있다는 신호입니다.
보안팀은 다음과 같은 질문을 던져야 합니다.
내부 취약점 검증 과정에서 AI를 어디까지 활용할 것인가?
패치가 실제로 악용 가능성을 낮췄는지 어떻게 확인할 것인가?
레드팀 평가에서 AI 보조 공격 시나리오를 어떻게 반영할 것인가?
모델 성능뿐 아니라 실행 비용과 운영 리스크를 어떻게 측정할 것인가?
ExploitBench는 AI가 곧바로 모든 브라우저를 뚫을 수 있다는 뜻이 아닙니다. 그러나 AI가 실제 취약점 악용 과정에 얼마나 가까워졌는지, 그리고 보안 조직이 어떤 기준으로 이를 평가해야 하는지를 보여주는 중요한 사례입니다.
결론적으로 ExploitBench의 가치는 특정 모델의 순위를 매기는 데만 있지 않습니다. AI 보안 능력을 판단할 때 “현실의 취약점에서 어디까지 진행했는가”와 “그 진행에 얼마의 비용이 들었는가”를 함께 봐야 한다는 기준을 제시한다는 점에 있습니다.
1ExploitBench 공개 결과(출처 URL 미제공)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.