Skip to main content
공개 노트

LLM 상투어를 찾는 도구, 탐지기보다 편집기에 가깝다

Views 2약 2분생성형 AI 활용
Summary

LLM 상투어를 찾는 도구, 탐지기보다 편집기에 가깝다

LLM이 쓴 듯한 문체는 알아보기 쉬워 보여도 정확히 판별하기는 어렵다. 특정 표현이 반복된다는 사실만으로 작성 주체를 확정할 수 없기 때문이다.

‘LLM cliché highlighter’는 이 문제를 AI 판정이 아닌 문장 편집의 관점에서 다룬다. 텍스트를 붙여 넣으면 언어 모델 출력에서 자주 나타나는 상투적 표현을 찾아 강조해 준다.

반복되는 표현을 눈에 보이게 한다

이 도구는 ‘no X, no Y’ 형태의 나열을 비롯한 10가지 표현 패턴을 검사한다. 사용자는 패턴별 감지를 켜거나 끌 수 있으며, 일치 횟수와 발견된 표현 목록도 확인할 수 있다. 목록에서 항목을 선택하면 해당 문장으로 바로 이동한다.1

처리는 브라우저 안에서만 이뤄지며, localStorage를 통해 작업 상태를 유지한다.1 별도의 서버 처리가 필요 없는 간단한 문체 점검 도구인 셈이다.

하이라이트는 증거가 아니라 편집 신호다

상투적 표현이 발견됐다고 해서 AI가 작성한 글이라는 뜻은 아니다. AI 문체의 특징으로 분류되는 표현도 사설, 블로그, 팬픽션처럼 사람이 쓴 글에 나타날 수 있다. AI 글 탐지기 역시 바꿔쓰기, 마크업이나 띄어쓰기 변경, 학습 당시 보지 못한 모델의 영향을 받는다.2

사람의 판단도 확실하지 않다. 2025년 한 연구에서는 LLM 글과 인간의 글을 구별하는 능력이 무작위 추측보다 낫지 않은 것으로 나타났다. 독일어 논문을 대상으로 한 다른 연구에서 인간의 인식률은 AI 텍스트 57%, 인간 작성 텍스트 64%였다.2

LLM은 학습 말뭉치를 바탕으로 다음에 올 내용을 통계적으로 추론한다. 이 과정에서 여러 상황에 무난하게 적용할 수 있는 일반적인 표현으로 수렴하기 쉽다.2 따라서 하이라이트 결과는 작성자를 가려내는 증거가 아니라, 문장이 지나치게 일반적이거나 반복적인지 검토하라는 신호로 보는 편이 적절하다.

초안의 ‘문체 린터’로 활용하기

표시된 문장을 무조건 삭제할 필요는 없다. 대신 다음과 같이 점검할 수 있다.

  • 구체적인 사실 대신 모호한 표현으로 넘어가지는 않았는가

  • 비슷한 문장 구조와 리듬이 반복되지는 않는가

  • 내용보다 과장된 의미 부여가 앞서지는 않는가

  • 실제 사례, 수치 또는 명확한 주어로 바꿀 수 있는가

핵심은 상투어 자체를 금지하는 것이 아니라, 그 표현이 문장에서 실제 역할을 하는지 확인하는 데 있다.

LLM cliché highlighter는 2026년 7월 17일 tools.simonwillison.net에 추가됐으며, 앱 코드는 Fable 5를 이용해 생성됐다.1 tools.simonwillison.net은 주로 LLM의 도움으로 만든 HTML·자바스크립트 도구를 공개하고 프롬프트 기반 개발을 실험하는 사이트다. 도구별 커밋 메시지와 개발 대화 기록은 사이트의 콜로폰에서 확인할 수 있다.3

이 도구가 주는 교훈은 단순하다. AI의 흔적을 섣불리 단정하기보다 반복되는 문체를 드러내고, 그 문장이 더 구체적이고 유용해질 수 있는지 사람이 다시 판단하는 편이 낫다.

1LLM cliché highlighter

2Wikipedia: Signs of AI writing

3tools.simonwillison.net

이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.

틸노트는 사용자가 AI를 활용해 노트를 쉽게 작성하거나 편집할 수 있는 서비스입니다.

AI 스퀘어 단톡방에 함께해요

AI 활용과 틸노트 사용 팁을 나누는 오픈채팅방입니다. 입장 비밀번호는 tilnote입니다.

참여하기