NVIDIA garak: LLM 레드팀을 자동화된 검사로 바꾸기

LLM 보안 점검을 프롬프트 몇 개로 끝내면 놓치는 것이 많습니다. 공격 입력은 다양하고, 모델 응답은 실행할 때마다 달라질 수 있기 때문입니다. 방어 관점에서 더 중요한 것은 “좋은 질문 몇 개”가 아니라 같은 기준으로 반복 실행하고, 결과를 비교하고, 개선 여부를 확인할 수 있는 검사 흐름입니다.

NVIDIA garak은 이 흐름을 만드는 데 초점을 둔 오픈소스 LLM 취약점 스캐너입니다.

garak은 무엇인가

NVIDIA garak은 NVIDIA AI Red Team이 만든 오픈소스 LLM 취약점 스캐너입니다. Apache 2.0 라이선스로 배포되며, Python 3.10~3.12를 지원합니다.¹

기본 작동 방식은 명확합니다. garak은 모델 엔드포인트에 적대적 입력을 보내고, 모델이 반환한 응답을 detector 모듈로 분석합니다.¹ 이때 각 구성요소의 역할은 다음처럼 나뉩니다.

• probe: 테스트 입력을 생성합니다.

• generator: 대상 LLM과 연결하는 인터페이스 역할을 합니다.

• detector: 모델 응답에서 위험 신호를 분석합니다.

• evaluator, harness, buff: 실행과 평가 흐름을 구성하는 플러그인 요소로 동작합니다.¹

핵심은 플러그인 구조입니다. garak은 probe, detector, generator 등을 조합해 테스트를 구성하므로, API로 접근 가능한 모델을 대상으로 반복적인 보안 검사를 수행할 수 있습니다.¹

왜 LLM 방어 워크플로에 유용한가

LLM 레드팀은 보통 공격 입력을 만들고, 응답을 분류하고, 발견된 문제를 우선순위화하는 과정으로 진행됩니다.³ garak은 이 중 앞단의 반복 작업을 자동화하는 데 강점이 있습니다.

garak은 50개 이상의 probe 모듈을 제공합니다.¹ 따라서 매번 수동으로 테스트 프롬프트를 작성하기보다, 이미 준비된 probe를 실행해 모델이 어떤 유형의 입력에 취약하게 반응하는지 빠르게 확인할 수 있습니다.

최근 garak 튜토리얼이 설치, 플러그인 탐색, 드라이런, Hugging Face 생성기를 통한 실제 모델 스캔, 사용자 정의 probe와 detector 작성, AVID 형식 내보내기까지 다루는 것도 같은 맥락입니다.² 단순히 “한 번 공격해보는” 도구가 아니라, 결과를 남기고 재실행할 수 있는 방어 절차를 만드는 것이 목적입니다.

기본 스캔만으로는 부족한 이유

기본 probe는 출발점으로 유용하지만, 조직마다 실제 위험은 다릅니다. 내부 서비스의 업무 정책, 민감 정보의 형식, 금지해야 할 응답 유형, 도구 호출 방식은 제품마다 다르게 정의됩니다.

그래서 garak을 실무에 적용할 때는 기본 probe 실행에서 멈추지 않는 것이 중요합니다. 먼저 제공되는 probe로 넓게 스캔하고, 발견된 실패 사례를 바탕으로 우리 서비스에 맞는 기준을 추가해야 합니다.

이때 필요한 것이 사용자 정의 probe와 detector입니다.

• 커스텀 probe는 서비스 특화 공격 입력을 만듭니다.

• 커스텀 detector는 어떤 응답을 실패로 볼지 판정 기준을 코드화합니다.

예를 들어 multi-turn 대화에서 점진적으로 민감한 요청으로 이동하는 공격 흐름도 별도 probe와 detector로 구성할 수 있습니다.⁴ 이렇게 하면 일회성 테스트가 아니라 회귀 테스트에 가까운 보안 검사가 가능해집니다.

실무 적용은 작게 시작하는 것이 좋다

garak을 도입할 때 처음부터 모든 위험을 자동화하려고 할 필요는 없습니다. 현실적인 순서는 다음과 같습니다.

1. 설치 후 플러그인과 실행 방식을 확인합니다.

2. 드라이런으로 동작 흐름을 이해합니다.

3. Hugging Face 생성기 등으로 실제 모델을 스캔합니다.²

4. 결과를 검토해 반복적으로 나타나는 실패 유형을 정리합니다.

5. 서비스 고유의 위험을 커스텀 probe와 detector로 확장합니다.

6. 필요한 경우 결과를 AVID 형식으로 내보내 공유와 추적이 가능하게 만듭니다.²

이 흐름의 장점은 명확합니다. LLM 보안을 감각이나 경험에만 의존하지 않고, 검사 가능한 항목과 반복 가능한 절차로 바꿀 수 있습니다.

garak은 최종 판단을 대신해주는 도구는 아닙니다. 어떤 실패가 실제 위험인지, 무엇을 먼저 고칠지는 여전히 팀이 결정해야 합니다. 다만 반복 실행 가능한 스캔, 플러그인 기반 확장, 결과 기록을 통해 LLM 레드팀 활동을 더 체계적인 방어 워크플로로 옮겨주는 도구로 볼 수 있습니다.

¹NVIDIA Garak Review 2026: Free LLM Vulnerability Scanner

²NVIDIA garak Tutorial: Build a Complete Defensive LLM Red-Teaming Workflow with Custom Probes and Detectors

³Red Teaming LLMs: A Step-by-Step Guide (2026)

⁴How to Build a Multi-Turn Crescendo Red-Teaming Pipeline to Evaluate and Stress-Test LLM Safety Using Garak