AI 글 탐지기를 도입할 때 가장 먼저 정해야 할 것은 제품 순위가 아니다. 사람이 쓴 글을 잘못 의심하는 오류와 AI 글을 놓치는 오류 중 어느 쪽이 더 큰 피해를 만드는지부터 판단해야 한다.
교육·채용·출판처럼 판정이 개인에게 영향을 줄 수 있는 환경에서는 위양성 한 건의 비용이 클 수 있다. 반면 대량의 문서를 1차로 점검하는 과정에서는 일부 위음성을 감수하더라도 검토 대상을 효율적으로 좁히는 것이 중요할 수 있다. 같은 탐지기라도 사용 목적에 따라 적절성 평가가 달라지는 이유다.
탐지 성능은 두 종류의 오류로 나눠 읽어야 한다
위양성률은 사람이 작성한 글을 AI 생성 글로 잘못 판정한 비율이다. 위음성률은 AI가 만든 글을 AI 글로 판정하지 못한 비율이다.1
두 지표는 서로 대체할 수 없다. 위양성이 낮다는 사실만으로 AI 글을 잘 찾아낸다고 결론 내릴 수 없고, 높은 탐지율만 보고 사람의 글을 안전하게 구분한다고 말할 수도 없다. 실제 운영에서는 다음과 같이 질문을 바꿔야 한다.
사람의 글을 잘못 지목할 가능성은 어느 정도인가?
일반적인 AI 글뿐 아니라 문체가 변형된 글도 찾아내는가?
불확실한 판정을 성공과 실패 중 어디에 포함했는가?
평가 단위가 문서 전체인지 일부 구간인지?
숫자보다 앞서 확인할 것은 판정 규칙이다
Epoch AI의 평가는 Pangram 3.3.2, GPTZero 2026-05-11-base, Originality.ai Turbo 3.0.2의 기본 설정과 문서 단위 결과를 사용했다. 여기서 탐지 성공으로 인정된 것은 명확한 ‘AI’ 판정뿐이었다.1
이 규칙에 따라 Pangram과 GPTZero가 AI 글에 내린 ‘Mixed’ 판정은 미탐지, 즉 위음성으로 처리됐다. 사람이 쓴 글에 ‘Mixed’가 나오면 반대로 위양성으로 계산하는 기준이 적용됐다. 다만 평가에 포함된 인간 작성 글에서 두 제품은 ‘Mixed’를 한 번도 출력하지 않았다. 99명의 저자가 작성한 인간 글 495개 가운데 AI로 오인한 사례가 있었던 제품은 Originality.ai뿐이었다.1
이 결과를 곧바로 제품 전체의 우열로 해석해서는 안 된다. 해당 수치는 특정 버전, 기본 설정, 문서 단위 판정, 그리고 불확실한 결과를 처리한 방식이 결합된 평가 결과이기 때문이다. 다른 비교표를 볼 때도 ‘Mixed’나 ‘불확실’ 범주를 어떻게 점수화했는지 확인하지 않으면 숫자의 의미가 달라질 수 있다.
실제 취약점은 ‘AI다운 글’이라는 가정이 깨질 때 나타난다
이 평가에서 중요한 부분은 탐지기가 평범한 AI 출력과 문체 모방 출력을 동일하게 다루지 못했다는 점이다. 일반 프롬프트로 생성된 글에서는 세 제품의 위음성률이 최대 0.7%였다. 그러나 특정 저자의 문체를 모방한 AI 글 297개에서는 탐지기당 평균 38개가 걸러지지 않아 위음성률이 약 13%로 높아졌다.1
과학 글에 문체 모방을 적용한 조건에서는 위음성률이 Pangram 25%, GPTZero 24%, Originality.ai 29%로 나타났다.1 일반적인 생성 방식에서 얻은 높은 탐지 성능이 다른 문체와 영역에도 그대로 유지된다고 가정하기 어렵다는 의미다.
별도의 MASH 연구도 인간에 가까운 문체로 AI 글을 변환해 블랙박스 탐지기를 우회하는 방식을 다뤘다. 이 연구는 6개 데이터셋과 5개 탐지기를 대상으로 평균 92%의 공격 성공률을 보고했다.2 평가 방법이 다른 만큼 Epoch AI의 수치와 직접 비교할 수는 없지만, 문체 변형이 탐지기의 중요한 시험 조건이라는 방향성은 공통적이다.
탐지기는 증거가 아니라 검토 순서를 정하는 도구에 가깝다
탐지기가 특정한 언어적 패턴을 잘 포착하더라도 그 결과만으로 작성 주체를 확정할 수는 없다. 특히 문체 모방처럼 입력 조건이 달라질 때 성능이 흔들린다면, 단일 점수를 징계·탈락·게재 거부 같은 결정의 근거로 사용하는 것은 위험하다.
보다 현실적인 활용 방식은 탐지 결과를 추가 확인이 필요한 문서를 선별하는 신호로 제한하는 것이다. 판정의 영향이 큰 상황에서는 초안과 수정 이력, 출처, 작성 과정에 대한 설명 등 다른 자료를 함께 검토할 필요가 있다. 탐지 점수가 높다는 사실과 부정행위가 입증됐다는 판단은 구분돼야 한다.
앞으로 확인해야 할 평가 항목
향후 탐지기 성능표를 읽을 때는 단일 정확도보다 다음 조건을 살펴보는 편이 유용하다.
일반 AI 글과 문체 모방 글을 별도로 시험했는가
주제나 글의 영역에 따른 성능 차이를 공개했는가
위양성률과 위음성률을 모두 제시했는가
‘Mixed’ 또는 불확실 판정을 어떻게 계산했는가
문서 전체와 구간별 판정 중 어느 방식을 사용했는가
제품 버전과 설정이 실제 도입 환경과 같은가
AI 글 탐지기의 다음 경쟁은 단순히 더 많은 AI 문서를 잡아내는 데 그치지 않을 가능성이 크다. 사람이 쓴 글을 보호하면서도 문체가 변형된 AI 글을 얼마나 안정적으로 구분하는지, 그리고 불확실성을 사용자에게 얼마나 투명하게 보여주는지가 핵심 관찰 지점이다.
1AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors | Epoch AI
2MASH: Evading Black-Box AI-Generated Text Detectors via Style Humanization
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.