콘텐츠 조정은 AI 서비스를 실제로 배포할 때 가장 마지막까지 발목을 잡는 문제이자, ‘단 하나의 정답’이 존재하지 않는 문제다. 사이버 보안 연구 도구에서는 필수적인 분석 대상이 정신 건강 플랫폼에서는 유해 콘텐츠가 된다. 그런데 기존 안전 모델들은 대부분 유해 범주를 고정된 분류 체계로 학습했기 때문에, 새로운 정책이 필요하면 모델을 다시 훈련해야만 했다.
Mistral이 공개한 Shieldstral은 이 문제를 근본적으로 다르게 접근한다. 정책을 추론 시점에 평문으로 입력받는 구조를 취해, 재학습 없이도 변화하는 안전 기준에 즉시 적응할 수 있다1.
콘텐츠 조정을 이진 질의응답으로 재구성하다
Shieldstral의 핵심 발상은 콘텐츠 조정을 ‘주어진 정책 아래 예/아니오를 판단하는 과제’로 단순화한 것이다. 하나의 요청은 다음 세 요소로 구성된다.
<Instruct>: 평가 맥락, 엄격성 수준, 위험 기준을 정의하는 지시문
<Query>: “이 콘텐츠는 신체적 폭력을 조장하는가?”와 같은 하나의 예/아니오 질문
<Document>: 프롬프트, 응답, 이미지 또는 이들의 조합으로 이루어진 판단 대상 콘텐츠
추론 시에는 ‘예’와 ‘아니오’ 로짓(logit)만 읽어 소프트맥스 정규화(softmax normalization)를 거쳐 연속적인 안전 점수로 변환한다1. 이산적인 레이블 대신 신뢰도 기반의 유연한 임곗값 설정이 가능해지고, 하나의 체크포인트로 프롬프트 분류, 응답 조정, 거절 탐지, 독성 감지를 통합해 다룰 수 있다.
30억 개 매개변수로 구성된 이 모델은 단일 16GB NVIDIA GPU에서 실행 가능하며, Apache 2.0 라이선스로 공개되어 상업적 활용에도 제약이 없다12.
작은 모델이 더 큰 모델을 능가할 수 있었던 이유
Shieldstral이 최대 7배 큰 모델들을 능가할 수 있었던 것은 데이터 설계의 정교함에 있다1. Mistral 팀은 네 가지 핵심 과제를 해결했다.
1. 이질적인 데이터의 통합 공개 안전 데이터셋은 분류 체계와 레이블 규칙이 제각각이기 때문에 그대로 혼합해 사용할 수 없다. Shieldstral은 데이터셋별 전용 프로세서를 통해 모든 데이터를 통일된 instruction-query-document 형식으로 변환했다. 지시문과 질문 표현을 의도적으로 다양화해 특정 문구 패턴에 과적합되는 것을 방지했고, 데이터 출처에 따라 엄격성도 보정했다. 적대적 탈옥 시도에는 엄격하게, 일반적인 응답 품질 데이터에는 상대적으로 관대하게 조정하는 식이다.
2. 세밀한 정책 차별화 능력 고정된 정책 레이블만으로는 새로운 규칙에 일반화하기 어렵다. Mistral 팀은 의도적으로 유사하고 혼동하기 쉬운 정책 쌍을 만들고, LLM으로 안전한 텍스트를 변형해 특정 정책 하나만 위반하는 대조 데이터를 생성했다. 이러한 학습 방식 덕분에 모델은 콘텐츠가 어떤 세부 정책을 위반하는지를 더 정확히 구별하게 된다1.
3. 이미지 안전성의 확보 텍스트와 달리 LLM으로 유해 이미지를 직접 합성하기 어려워 시각 안전 데이터는 본질적으로 부족하다. 이 문제에 대응하기 위해 범용 이미지 데이터셋을 고품질의 부정 샘플로 활용하고, 비전-언어 재순위화 모델로 이미지-질문 쌍을 필터링하여 노이즈를 제어했다1.
4. 체크포인트 병합 LoRA로 미세 조정된 여러 체크포인트를 SLERP 방식으로 병합해 공개 데이터 보정 능력, 세밀한 정책 차별화 능력, 그리고 Ministral-3B와 Pixtral이 제공하는 기본 모델의 지시 이행 능력을 하나로 결합했다1. 이 모든 과정은 Mistral의 자체 훈련 플랫폼인 Forge 위에서 분산 훈련 인프라, 데이터 샤딩, 메트릭, 로깅을 관리하며 엔드투엔드로 구축되었다.
고정된 규칙에서 적응형 정책으로
Shieldstral은 텍스트 벤치마크에서 F1 점수 84.9%, 이미지 및 이미지-텍스트 조합 벤치마크에서 83.8%를 기록하며 규모가 훨씬 큰 모델들과 어깨를 나란히 했다1.
그러나 이 모델의 진정한 차별점은 방향성에 있다. 모든 서비스에 하나의 고정된 유해 분류 체계를 강요하는 대신, 서비스의 맥락에 맞는 정책을 자연어로 기술해 즉시 적용할 수 있게 했다는 점이 실용적 가치를 높인다. 다국어 지원, 긴 문서 처리, 더 넓은 멀티모달 안전성은 앞으로 풀어야 할 과제로 남아 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.