AI 탐지기는 글의 리듬, 단어 선택, 문장 예측 가능성 같은 통계적 패턴을 바탕으로 “AI가 썼을 가능성”을 점수화합니다.1 그래서 유용한 참고 신호가 될 수는 있지만, 그 자체가 진실을 증명하지는 않습니다. 잘 다듬은 인간의 글도 AI가 학습한 문체와 닮을 수 있고, 반대로 AI가 쓴 글도 인간이 쓴 것처럼 보이게 바뀔 수 있습니다.
Authors Guild의 AI 탐지기 테스트가 중요한 이유는 여기에 있습니다. 이 테스트는 “어떤 탐지기가 맞았나”보다, 탐지 결과를 어떻게 해석해야 하는지를 보여줍니다.
Authors Guild 테스트가 드러낸 차이
Authors Guild는 2020년부터 2022년 사이에 발행된 Guild 기사 10개를 여러 AI 탐지기에 넣어 비교했습니다.1 생성형 AI가 지금처럼 널리 쓰이기 전의 글이므로, 테스트의 핵심은 인간이 쓴 텍스트를 탐지기가 제대로 인간 글로 분류하는지였습니다.
결과는 도구마다 크게 갈렸습니다. Pangram은 테스트에 사용된 모든 인간 작성 텍스트를 인간 작성으로 식별했습니다. Grammarly도 모든 인간 작성 텍스트를 인간 작성으로 분류했습니다.1
반면 Sidekicker.ai는 모든 기사에 대해 AI 생성 비율을 71% 이상으로 표시했고, 그중 2개는 100% AI 생성으로 판단했습니다.1 같은 인간 작성 글을 두고 한쪽은 인간 글로, 다른 한쪽은 강한 AI 글로 본 것입니다.
이 차이는 실무적으로 중요합니다. 탐지 점수가 저자 계약, 학업 평가, 출판 여부, 평판에 영향을 준다면 오탐은 단순한 기술 오류가 아니라 실제 피해로 이어질 수 있습니다.
“정확한 탐지기”도 판결문은 아니다
Pangram은 텍스트 일부를 ‘AI 생성’, ‘AI 보조’, ‘인간 작성’으로 나눠 표시합니다. 대학의 학생 과제 검토와 과학 단체의 논문 스캔에도 사용됩니다.2 Pangram은 인간 작성 예시와 봇 작성 예시를 대량 학습해 두 범주를 구별하도록 설계된 도구입니다.2
성능을 뒷받침하는 주장과 연구도 있습니다. Pangram CEO는 자사 알고리즘의 오탐률이 약 1만 건 중 1건이라고 밝혔고, 시카고대 연구는 약 3,000개의 500~1,000단어 샘플에서 Pangram의 오탐이 거의 없었다고 보고했습니다.2
하지만 낮은 오탐률이 “그 결과를 그대로 믿어도 된다”는 뜻은 아닙니다. 사용 규모가 커지면 1만 분의 1도 누군가에게는 실제 불이익이 됩니다. 또한 Pangram 측이 제시한 한 테스트에서 미탐률은 약 70건 중 1건이었습니다.2 즉 인간 글을 AI로 잘못 몰 위험뿐 아니라, AI 글을 인간 글로 놓칠 위험도 함께 존재합니다.
역사적으로도 AI 탐지는 불안정한 영역이었습니다. 2023년 OpenAI는 낮은 정확도를 이유로 자체 AI 탐지기를 중단했습니다. 같은 해 ZeroGPT가 미국 헌법을 AI 작성으로 판정한 사례도 있었습니다.2 탐지 기술이 발전하고 있더라도, 점수 하나를 최종 판단으로 삼기 어려운 이유입니다.
휴머나이저가 만드는 또 다른 변수
AI 탐지의 한계는 오탐만이 아닙니다. AI 문장을 인간이 쓴 것처럼 보이도록 바꾸는 ‘휴머나이저’ 도구도 변수입니다.2
예를 들어 Walter Writes AI로 다시 쓴 ChatGPT·Claude 출력물이 Pangram에서 인간 작성으로 판정된 사례가 있었습니다.2 이는 탐지기가 아무리 정교해져도, 탐지를 회피하려는 도구와 계속 경쟁해야 한다는 뜻입니다.
따라서 AI 탐지 결과는 “AI 사용 여부의 증거”라기보다 “추가 확인이 필요한 신호”에 가깝습니다. 특히 징계, 계약 해지, 낙제, 출판 중단처럼 큰 결과가 따르는 결정에는 단독 근거로 쓰기 어렵습니다.
실무에서 필요한 기준
Authors Guild 테스트의 교훈은 단순합니다. AI 탐지기는 판정기가 아니라 신호등처럼 써야 합니다. 빨간불이 떴다면 멈추고 확인해야 하지만, 그것만으로 유죄를 선언해서는 안 됩니다.
실무에서는 탐지 점수와 함께 다음 자료를 함께 봐야 합니다.
원고 초안과 수정 이력
문서 작성 기록과 편집 로그
저자의 설명과 작업 과정
인터뷰, 취재 메모, 참고 자료
조직의 AI 사용 정책과 고지 기준
정책도 “AI 사용 전면 금지”처럼 모호하게 운영하기보다, 무엇을 허용하고 무엇을 표시해야 하는지 구체적으로 정하는 편이 낫습니다. 예를 들어 아이디어 정리, 문장 교정, 번역 보조, 초안 생성은 서로 다른 수준의 AI 사용입니다. 이를 구분하지 않으면 탐지 결과에 과도한 의미를 부여하게 됩니다.
이번 테스트의 핵심은 특정 도구의 승패가 아닙니다. AI 탐지는 여전히 확률의 기술입니다. 확률을 참고 신호로 쓰면 도움이 되지만, 판결처럼 쓰는 순간 보호 장치가 아니라 위험 요인이 됩니다.
1Can AI Detectors Be Trusted? The Authors Guild Put Five of Them to the Test
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.