AI 서비스의 안전 관리는 더 이상 텍스트 필터링만으로 끝나지 않습니다. 사용자는 텍스트와 이미지를 함께 입력하고, 서비스는 여러 언어와 지역, 제품 정책을 동시에 고려해야 합니다. Nemotron 3.5 Content Safety는 이런 환경에서 사용자 입력이 안전한지 판단하기 위한 멀티모달 콘텐츠 안전 분류기입니다.
핵심은 단순합니다. 입력을 보고 안전 여부를 짧고 일관된 형식으로 반환하며, 필요하면 어떤 유형의 위험으로 판단했는지도 함께 제공합니다.
Nemotron 3.5 Content Safety가 하는 일
Nemotron 3.5 Content Safety는 사용자 텍스트 프롬프트와 선택적 이미지를 입력으로 받습니다.1 출력은 길게 설명하는 문장이 아니라 User Safety: safe 또는 User Safety: unsafe 같은 고정 형식의 짧은 문자열입니다.1
이 방식은 운영 시스템에 유리합니다. 응답 형식이 예측 가능하므로 서비스 앞단에서 차단, 경고, 추가 검토 같은 후속 처리를 자동화하기 쉽습니다. 안전 판단을 사람이 읽는 설명문이 아니라 시스템이 처리할 수 있는 신호로 제공하는 셈입니다.
필요한 경우에는 안전 카테고리도 함께 받을 수 있습니다.1 예를 들어 범죄 계획과 관련된 입력에는 Criminal Planning/Confessions 같은 카테고리가 반환될 수 있습니다.1 따라서 단순히 “안전하지 않다”에서 멈추지 않고, 어떤 위험 유형으로 분류됐는지까지 운영 정책에 반영할 수 있습니다.
왜 멀티모달과 다국어가 중요한가
실제 AI 서비스에서는 위험한 요청이 텍스트로만 들어오지 않습니다. 이미지에 포함된 맥락과 텍스트 지시가 결합될 수 있고, 같은 의도가 여러 언어로 표현될 수도 있습니다. Nemotron 3.5 Content Safety가 텍스트와 이미지를 함께 다루는 이유도 여기에 있습니다.
이 모델은 Google Gemma 3 4B IT 기반으로 구축됐으며, 4B 파라미터 규모의 모델입니다.2 안전 분류 체계는 Aegis 2.0 프레임워크를 따릅니다.2 또한 영어, 프랑스어, 스페인어, 독일어, 중국어, 일본어, 한국어, 아랍어, 힌디어, 러시아어, 포르투갈어, 이탈리아어 등 12개 언어에 대한 명시적 학습 커버리지를 유지합니다.2
기업 입장에서 이 점은 중요합니다. 글로벌 서비스는 하나의 언어, 하나의 입력 형식, 하나의 위험 맥락만 다루지 않습니다. 안전 분류 모델은 다양한 언어와 멀티모달 입력을 같은 흐름에서 판단할 수 있어야 운영 부담을 줄일 수 있습니다.
NIM에서 어떻게 호출하는가
NVIDIA NIM에서는 Chat Completions 엔드포인트로 Nemotron 3.5 Content Safety를 호출합니다.1 이미지는 OpenAI 사양을 따라 사용자 메시지의 HTTP 페이로드에 포함합니다.1 기존에 OpenAI 호환 API 구조로 LLM 애플리케이션을 운영하고 있다면, 안전 검사 단계를 비교적 자연스럽게 추가할 수 있는 형태입니다.
카테고리별 분류가 필요 없다면 chat_template_kwargs.request_categories 값을 /no_categories로 설정합니다.1 반대로 위험 유형까지 받고 싶다면 /categories로 설정합니다.1
출력이 고정 형식이기 때문에 스트리밍은 필요하지 않습니다.1 실시간 사용자 경험이 중요한 구간에서는 안전 여부만 빠르게 확인하고, 감사 로그나 운영 분석이 필요한 구간에서는 카테고리 분류까지 요청하는 식으로 나눠 설계할 수 있습니다.
운영자가 봐야 할 판단 기준
Nemotron 3.5 Content Safety를 도입할 때 중요한 질문은 “이 모델이 얼마나 강하게 차단하는가”만이 아닙니다. 더 실용적인 질문은 다음에 가깝습니다.
텍스트와 이미지가 함께 들어오는 입력을 검사해야 하는가
여러 언어의 사용자 입력을 일관되게 다뤄야 하는가
단순 안전 여부만 필요한가, 아니면 위험 카테고리까지 기록해야 하는가
실시간 응답 구간과 감사·분석 구간을 분리해 운영할 것인가
Nemotron 3.5 Content Safety의 의미는 더 강한 검열 모델이라기보다, 멀티모달 입력과 다국어 환경에서 안전 판단을 구조화하려는 시도에 가깝습니다. AI 제품을 운영한다면 모델 성능뿐 아니라 어떤 입력을 검사하고, 어떤 결과 형식으로 남기며, 어떤 기준으로 후속 조치를 할지까지 함께 설계해야 합니다.
참고
1Vision Content Safety -- NVIDIA NIM for Vision Language Models (VLMs)
2Nemotron 3.5 Content Safety: Customizable Multimodal Safety for Global Enterprise AI
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.