AI 글 감지는 단순히 “어색한 문장”을 찾는 일이 아니다. 더 핵심적인 질문은 이 글이 어떤 방식으로 만들어졌고, 그 출처를 얼마나 신뢰할 수 있느냐다. Pangram은 이 질문에 답하려는 AI 텍스트 감지기다.
Pangram은 2023년에 설립됐다. CEO 맥스 스페로는 Google 소프트웨어 엔지니어 출신이며, Stanford 시절 룸메이트였던 공동창업자와 회사를 시작했다.1 Pangram을 이해하려면 먼저 AI 글 감지가 어떤 기준에서 출발했는지 살펴볼 필요가 있다.
초기 감지 방식: 예측 가능성을 본다
초기 AI 감지 도구들은 주로 ‘퍼플렉시티’를 측정했다. 퍼플렉시티는 텍스트가 얼마나 예상 밖인지를 나타내는 지표다.1
대규모 언어모델은 확률적으로 그럴듯한 다음 단어를 조합해 문장을 만든다. 그래서 AI가 쓴 글은 상대적으로 안정적이고 예측 가능한 흐름을 보이는 경향이 있다. 반면 사람의 글은 예측 가능한 문장과 뜻밖의 표현이 섞이며 변동성이 더 크다. 텍스트 안에서 갑자기 나타나는 이런 예측 불가능성의 변동을 ‘버스티니스’라고 부른다.1
초기 연구에서는 퍼플렉시티와 버스티니스만으로도 인간 글과 AI 글을 95~99% 정확도로 구분할 수 있다고 봤다.1 하지만 이 접근은 한계가 있다. 단순하고 정돈된 글, 익숙한 문체, 영어 학습자의 글처럼 예측 가능성이 높은 텍스트가 AI 글로 오인될 수 있기 때문이다.
Pangram의 접근: 단일 지표보다 분류기
Pangram은 단순한 퍼플렉시티 측정에만 기대지 않고 딥러닝 분류기를 사용한다. 스페로는 Pangram의 분류기를 “블랙박스”에 가깝다고 설명했다. 즉, 도구가 예측을 내릴 수는 있지만 왜 그런 판단을 했는지 완전히 해석하기는 어렵다는 뜻이다.1
Pangram 도구는 의심스러운 문구를 단서로 표시한다.1 다만 이런 표시는 최종 이유라기보다 사용자가 검토할 출발점에 가깝다. 감지기가 특정 문장이나 표현을 강조한다고 해서 그 부분만으로 글 전체의 출처가 확정되는 것은 아니다.
이 점이 중요하다. AI 글 감지는 “나쁜 문장”을 찾는 작업이 아니라, 텍스트가 만들어진 패턴을 추정하는 작업에 가깝다. AI가 쓴 글은 문법적으로 매끄럽고 논리적으로 보일 수 있다. 따라서 감지 결과를 볼 때도 표현의 어색함만이 아니라 반복되는 전개 방식, 지나치게 일반적인 주장, 글 전체의 일관된 예측 가능성을 함께 살펴봐야 한다.
감지기는 판정이 아니라 신호다
Pangram은 자사 도구가 1만 건 중 1건 수준의 낮은 오탐률을 목표로 조정된다고 설명한다.1 또한 브라우저 확장 프로그램은 웹 글, 소셜 피드, Google Docs 문서를 “Human”, “AI-Assisted”, “AI”로 표시할 수 있다.2
그럼에도 AI 감지 결과는 최종 판정으로 다루면 안 된다. 특히 교육, 출판, 채용처럼 한 번의 오판이 큰 피해로 이어질 수 있는 환경에서는 더 조심해야 한다. 감지 결과는 추가 확인을 위한 신호로 보고, 작성 이력, 초안, 수정 과정, 인터뷰 같은 근거와 함께 판단하는 편이 안전하다.
Pangram이 보여주는 변화는 분명하다. 앞으로 중요한 것은 “AI처럼 보이지 않는 글”을 억지로 쓰는 것이 아니다. 더 실용적인 기준은 자기 관점이 있는가, 덜 뻔한 주장으로 전개되는가, 실제 사고의 흔적이 남아 있는가다. AI 감지기를 이해하는 일은 결국 좋은 글의 조건을 다시 묻는 일이기도 하다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.