Psychometric AI로 안전성 테스트를 다시 설계하는 법
AI 모델을 하나의 안전성 점수만으로 판단하기는 어렵다. 같은 모델도 유해한 요청을 거부하는 성향, 사실에 맞게 답하는 능력, 맥락에 따라 유해성을 구분하는 능력에서 서로 다른 결과를 보일 수 있기 때문이다. Psychometric AI는 이런 차이를 여러 잠재적 행동 특성으로 나눠 측정하는 접근이다.
개별 답변보다 반복되는 행동 경향을 측정한다
상황판단검사(SJT)는 구체적인 의사결정 상황과 여러 행동 선택지를 제시해 모델의 행동 경향을 측정한다. 모델이 자신을 어떻게 설명하는지 묻는 대신, 주어진 상황에서 어떤 선택을 반복하는지 확인하는 방식이다.1
다차원 문항반응이론(MIRT)은 각 응답을 잠재 행동 변수의 관측값으로 분석한다. 이를 통해 서로 다른 문항에서 나타나는 응답을 몇 가지 행동 특성으로 구조화하고, 해당 경향이 반복 실행에서도 유지되는지 확인할 수 있다. 연구진은 이렇게 측정한 특성이 TruthfulQA 같은 외부 평가 결과를 예측하는지도 살폈다.1
여기서 말하는 특성은 인간의 성격을 모델에 그대로 적용한 개념이 아니다. 여러 상황에서 비교적 일관되게 나타나는 모델의 행동 패턴에 가깝다.
페르소나 컨디셔닝도 함께 고려해야 한다. 이는 모델이 특정 역할이나 유형의 에이전트처럼 응답하도록 유도하는 방식이다.1 따라서 안전성 테스트는 기본 상태의 모델만 평가해서는 부족하다. 역할이나 지침을 부여했을 때 행동 특성이 어떻게 달라지는지도 확인해야 한다.
안전성은 하나가 아니라 여러 독립적 특성이다
5,000개가 넘는 시험 문항에 대해 최대 192개 모델의 답변을 분석한 결과, 안전성 벤치마크는 크게 세 가지 독립적인 특성을 측정하는 것으로 나타났다. 요청 거부 성향, 답변의 진실성, 맥락에 따른 유해 콘텐츠 처리 능력이다.2
이는 종합 점수가 같더라도 모델의 실제 위험 구조는 다를 수 있다는 뜻이다. 한 모델은 유해한 요청을 적극적으로 거부하지만 사실성이 낮을 수 있고, 다른 모델은 사실성은 높지만 맥락에 따른 유해성 판단에 약할 수 있다. 실무에서는 종합 순위뿐 아니라 각 특성의 점수를 따로 확인해야 한다.
긴 시험보다 정보량 높은 문항이 중요하다
평가 문항을 무조건 늘린다고 더 좋은 결과를 얻는 것은 아니다. HarmBench와 SORRY-Bench에서는 약 10개의 적응형 문항만으로 전체 평가와 매우 유사한 모델 순위를 얻었다. 적응형 문항 선택을 적용했을 때 평가 비용은 97~99% 줄었다.2
핵심은 시험의 길이가 아니라 모델 간 차이를 잘 드러내는 문항을 선택하는 데 있다. 초기 응답을 바탕으로 다음 문항을 조정하면, 이미 확인된 특성을 반복해서 묻는 대신 불확실성이 큰 영역에 평가 자원을 집중할 수 있다.
평가 순간의 과도한 신중함도 점검해야 한다
모델이 실제로 안전한 것과 평가 지침 때문에 일시적으로 지나치게 신중하게 행동하는 것은 구분해야 한다. 과도하게 신중하도록 지시된 모델을 탐지하는 방법은 80~100%의 탐지율을 보였다. 여기에 과거 성능과의 비교를 추가했을 때 탐지율은 94~97%였다.2
따라서 한 번의 테스트 결과만 보는 것보다 이전 평가 기록과 비교하는 편이 유용하다. 갑작스러운 거부율 상승이나 행동 패턴의 변화가 실제 개선인지, 평가 상황에만 반응한 결과인지 판단할 근거가 되기 때문이다.
실무 적용을 위한 세 가지 기준
안전성 점수를 특성별로 분리한다.
요청 거부, 진실성, 맥락별 유해성 판단을 각각 확인한다.사용 환경과 유사한 상황형 문항을 구성한다.
추상적인 질문보다 실제 의사결정 맥락과 선택지를 제시해 반복되는 행동을 측정한다.적응형 평가와 과거 결과 비교를 병행한다.
정보량이 높은 문항에 집중해 비용을 줄이되, 이전 기록과 비교해 평가 순간에만 나타나는 행동 변화를 점검한다.
요약
Psychometric AI는 모델이 “몇 점을 받았는가”보다 “어떤 상황에서 어떤 행동을 반복하는가”를 묻는다. 안전성을 여러 행동 특성으로 나누고 정보량이 높은 문항을 선택하면, 평가 비용을 크게 줄이면서도 단일 벤치마크 점수가 감추는 취약점을 더 구체적으로 파악할 수 있다.
1Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests
2Psychological methods reveal major weaknesses in AI security testing
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.