Sakana AI가 보안 특화 오케스트레이션 모델 Fugu-Cyber를 2026년 7월 21일 출시했다1. 발표된 벤치마크 수치(CyberGym 86.9%, CTI-REALM 72.1%)는 기존 최전선 모델을 근소하게 앞선다1. 그러나 이번 출시에서 진짜 중요한 메시지는 점수가 아니라 ‘모델이 취약점을 찾는 것’과 ‘그 취약점이 실제 환경에서 발현되는 것을 검증하는 것’ 사이의 간극에 대한 문제 제기다. 점수 그 자체보다 그 간극을 메우려는 설계 방식에 주목해야 하는 이유다.
하나의 API 뒤에 숨은 멀티 에이전트, 그리고 검증자 역할
Fugu-Cyber는 단일 기초 모델이 아니다. 사용자 관점에서는 하나의 API 엔드포인트로 보이지만, 내부에서는 다수의 특화된 에이전트를 동적으로 조정하는 멀티 에이전트 시스템이다1. Sakana AI가 기존에 공개한 Fugu 오케스트레이터에 보안 추론을 위해 튜닝된 엔드포인트를 추가한 구조로, 여러 전문 에이전트의 협업이 단일 모델처럼 작동한다2.
이 시스템의 근간은 ICLR 2026 논문인 TRINITY와 Conductor다. TRINITY는 경량 코디네이터가 여러 LLM에 Thinker, Worker, Verifier 역할을 할당하고, Conductor는 강화학습으로 에이전트 간 자연어 협업 전략을 학습한다3. 보안 작업에서 관건은 바로 Verifier(검증자) 다. 한 에이전트가 취약점 후보를 제시하면, 보안에 특화된 하위 에이전트와 사람 개입(Human-in-the-loop) 프로세스를 거쳐 실제 환경에서 발현되는지 검증한 후에야 패치를 제안한다1. 발견에 그치지 않고 발현 가능성을 검증하는 파이프라인을 내장한 점이 구조적 차별점이다.
벤치마크가 실제로 측정하는 것: 재현과 탐지
Fugu-Cyber의 두 벤치마크는 보안 워크플로의 양 끝단을 평가한다. CyberGym은 취약점을 찾아내 재현하는 능력을, CTI-REALM은 위협 정보를 탐지 로직으로 전환하는 능력을 측정한다.
CyberGym은 UC 버클리가 만든 벤치마크로, 188개 오픈소스 프로젝트에서 발견 및 패치된 실제 취약점 1,507건을 기반으로 한다4. 주요 과제에서 에이전트는 취약점 설명과 패치되지 않은 코드베이스만 받고, 해당 취약점을 유발하는 개념 증명(PoC) 입력을 생성한 뒤 패치된 버전에서는 실행되지 않음을 입증해야 한다5. 단순한 지식 암기가 아니라 실제 코드 네비게이션과 입력 검증이 요구되는 시험이다.
CTI-REALM은 마이크로소프트가 만든 탐지 엔지니어링 벤치마크다. 위협 인텔리전스 보고서를 입력받아 MITRE ATT&CK 기법 매핑, KQL 쿼리 작성, 시그마 규칙 생성까지 엔드투엔드 탐지 로직을 구축하며, Linux 엔드포인트·Azure Kubernetes Service·Azure 클라우드 인프라를 대상으로 한다5. 점수는 단순 통과율이 아니라 최종 탐지 품질과 중간 과정 체크포인트를 결합한 정규화된 작업 보상(normalized workflow reward)으로 산출된다5.
Sakana AI의 발표 차트에 따르면 Fugu-Cyber의 CyberGym 86.9%는 GPT-5.5-Cyber(85.6%) 대비 +1.3포인트, Mythos Preview(83.1%) 대비 소폭 높다. CTI-REALM 72.1%는 GPT-5.5(67.3%) 대비 +3.6포인트의 비교적 뚜렷한 격차를 보였다5. 다만 이 결과는 아직 독립적으로 재현되지 않았으므로, 상대적 위치를 가늠하는 참고점으로 받아들이는 편이 타당하다.
API 접근의 현실: 승인, 정책, 그리고 의존성
Fugu-Cyber는 무제한 공개 API가 아니다. 사용 목적과 연락처 정보를 제출하면 Sakana AI 팀이 수동 검토 후 승인하는 구조이며, 토큰 플랜을 통해서만 이용 가능하다1. 업데이트된 허용 사용 정책은 공격적 오용을 금지하고 업계 안전 표준에 부합하는 조건을 적용한다1. 아울러 서비스 약관에 따르면 Fugu 서비스는 OpenAI, Anthropic, Google 등 외부 모델 제공자에게 입력을 동적으로 라우팅할 수 있다5.
이 때문에 조직이 독점 코드나 보안 데이터를 투입하기 전에 데이터 처리 위치, 보존 정책, 제공자별 계약 조건을 반드시 확인해야 한다. Sakana AI 자체도 “강력한 API 하나만으로 기업 보안이 해결되지는 않는다”고 강조하며, 실제 운영 환경의 미묘한 차이를 이해하는 인간 전문가와의 결합이 필수라고 밝히고 있다1.
점수가 아니라 검증 체계를 볼 때
결국 Fugu-Cyber의 진짜 가치는 점수 그 자체보다 ‘취약점 발견-검증-패치’로 이어지는 전체 파이프라인을 하나의 오케스트레이션으로 묶어내는 설계에 있다. 조직이 보안 도구를 평가할 때는 “무엇을 찾을 수 있는가”에 더해 “찾은 취약점이 실제 유효한지, 증거는 충분한지, 제안된 조치가 안전한지”를 검증할 체계가 도구 안에 또는 도구와 함께 마련되어 있는가를 살펴야 한다. Fugu-Cyber는 바로 그 질문을 평가 기준의 중심으로 끌어올린 모델이다.
3Sakana Fugu -- Multi-Agent System as a Model
4CyberGym Leaderboard & Scores — July 2026 | BenchLM.ai
5Fugu-Cyber: Benchmarks, Pricing, Access and Deployment Reality
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.