최근 ACM에 "The Science of Detecting LLM-Generated Text"가 소개되며, AI가 쓴 글을 가려내는 기술이 단순한 '감(感)'이 아니라 데이터·통계·실험으로 굴러가는 과학이라는 점이 다시 주목받았습니다1. 문제는 LLM 글이 너무 자연스러워져서, 예전처럼 "딱 보면 AI"가 거의 통하지 않는다는 것. 그래서 탐지는 이제 문장 느낌이 아니라, 생성 과정이 남기는 흔적을 읽는 방향으로 진화하고 있습니다.
이 글에서는 LLM 생성 텍스트 탐지(LLM-generated text detection)가 어떤 원리로 작동하는지, 왜 자꾸 뚫리는지, 그리고 연구가 어떤 해법으로 이동 중인지 핵심만 재밌게 정리해보겠습니다.
LLM 생성 텍스트 탐지 원리: '확률의 흔적'을 찾는다
LLM은 다음 단어를 "확률적으로" 고릅니다. 인간도 단어를 고르지만, 인간의 글은 맥락·기억·감정·실수·돌발적 표현이 섞이며 확률 분포가 들쭉날쭉해집니다. 반면 LLM은 훈련된 분포와 디코딩 규칙(온도, top-p 등) 안에서 움직이기 때문에, 일정한 리듬의 규칙성이 남기 쉽습니다.
이 직관을 가장 단단하게 밀어붙이는 접근이 '통계적 규칙성'입니다. 예를 들어 "압축"을 해보면, 더 반복적이고 규칙적인 텍스트일수록 더 잘 압축됩니다. 실제로 LLM 출력이 사람 글보다 더 "압축이 잘 되는 경향"을 보인다는 연구가 나왔고, 이는 모델 내부를 몰라도 표면 텍스트만으로 구분 신호를 얻을 수 있다는 점에서 흥미롭습니다2. 다만 글이 아주 짧아지거나(예: 한두 문장), 플랫폼 대화처럼 조각난 환경에서는 구분이 약해질 수 있다는 경고도 같이 나옵니다2.
즉, 탐지는 점점 "의미를 해석"하기보다 "생성 과정이 남기는 확률적 발자국"을 계량화하는 싸움이 되고 있습니다.
제로샷 탐지의 진화: '다양성(리듬)'이 부족한 구간을 잡아낸다
요즘 탐지 연구에서 인기 있는 키워드는 제로샷(zero-shot)입니다. 새로운 모델이 쏟아지니, 매번 라벨링해서 재학습하는 방식은 유지비가 너무 큽니다. 그래서 "아무 학습 없이도" 혹은 "최소한의 학습으로도" 통하는 신호를 찾습니다.
그중 재미있는 발상은 '서프라이절(surprisal) 다양성'입니다. 쉽게 말해, 각 토큰이 얼마나 "예상 밖"인지의 흐름을 보고, 그 출렁임이 사람 글처럼 풍부한지 확인하는 겁니다. 사람 글은 문장 구조와 단어 선택이 상황마다 흔들리며 예측 난이도가 리듬감 있게 변하는데, LLM 글은 상대적으로 그 변동 폭이 일정해지기 쉽다는 관찰이죠. 이 신호를 통계 특징으로 뽑아 성능을 올린 프레임워크가 제안됐고, 패러프레이징(바꿔쓰기) 같은 공격에도 꽤 버틴다고 보고합니다3.
핵심은 이겁니다. "AI가 똑똑해질수록 더 자연스러워지는데, 왜 다양성이 부족해지지?"라는 의문이 생길 수 있는데, LLM은 '무난하고 그럴듯한 경로'를 반복적으로 선택하는 압력이 강합니다. 사람은 오히려 문득 삽입하는 농담, 비약, 개인적 습관이 튀어나오며 확률 곡선을 흔들어 놓고요.
혼합 저자(사람+AI) 시대: 문서 전체가 아니라 '경계'를 찾는다
현실에서 더 골치 아픈 건 "100% AI 글"보다 "사람이 쓰다 AI가 한 단락만 다듬은 글"입니다. 이 경우 문서 전체를 이진 분류(사람/AI)로 찍어버리면 실무적으로 도움이 덜 됩니다. 그래서 최근에는 토큰/문장 단위로 '어디서부터 스타일이 바뀌는지'를 찾는 방향이 강해졌습니다.
대규모 인간-LLM 공동작성 데이터(다국어 포함 240만+ 샘플)를 바탕으로, 텍스트 내부에서 저자 스타일 경계를 찾는 토큰 분류 모델이 제안되었고, 짧은 글·비원어민·도메인 이동·적대적 입력에서도 강인성을 강조합니다4. 이 흐름은 PAN 워크숍 같은 포렌식 평가 트랙에서도 "혼합/난독화 저자"를 정면 과제로 삼는 것과 맞물립니다5.
한마디로, 탐지는 이제 "이 글은 AI냐?"가 아니라 "이 글의 어느 부분이 AI스러워졌냐?"로 질문이 바뀌는 중입니다.
바꿔쓰기(리라이트) 공격을 역이용: '거리'를 학습해 탐지 성능을 끌어올린다
탐지기를 피하는 가장 쉬운 방법은 LLM에게 "더 인간처럼 고쳐 써줘"라고 시키는 겁니다. 그래서 탐지 연구도 리라이트(재작성)를 중심으로 재편되고 있습니다. 공격자가 리라이트를 쓰니, 방어자는 "리라이트했을 때 변화 패턴이 사람과 AI에서 다르다"는 점을 파고듭니다.
최근에는 이를 기하학적으로 해석하며, 원문과 재작성문 사이의 '거리(distance)'를 고정 규칙이 아니라 "데이터로 학습"해 더 잘 구분하자는 방법이 제안됐습니다. 다양한 설정에서 강한 기준선 대비 큰 폭의 상대 성능 개선을 보고하며, GPT·Claude·Gemini 등 여러 타깃 모델로 일반화 가능성을 강조합니다6. 요지는 "똑같이 고치라고 시켜도, AI 텍스트는 고치는 결이 일정하게 나타난다"는 가설을 더 정교한 거리 학습으로 포착하는 겁니다.
재밌는 포인트는, 여기서 탐지는 '원문이 필요하냐'의 문제로 갈립니다. 플랫폼에 따라 원문/편집 이력을 볼 수 있으면 이런 리라이트 기반 탐지가 훨씬 강력해지고, 반대로 최종 텍스트만 보면 제로샷 통계 신호(다양성, 압축성 등)에 더 의존하게 됩니다.
시사점: 탐지기는 "판정"보다 "증거 묶음"으로 가야 한다
LLM 생성 텍스트 탐지는 점점 한 방 기술이 아니라, 여러 신호를 합쳐 신뢰도를 올리는 방향으로 갑니다. 워터마크가 있으면 좋지만 모든 모델이 쓰지 않고, 짧은 글에서는 신호가 약해지며, 바꿔쓰기는 계속 강해집니다. 그래서 실무에서는 "이진 판정"보다 "근거 카드 여러 장"이 더 유용합니다.
콘텐츠·교육·커뮤니티 운영 관점에서의 실용 팁은 간단합니다. 첫째, 짧은 텍스트는 과신하지 말고(한 문장 판정 금지), 둘째, 혼합 저자를 기본값으로 보고 구간 단위 점검을 준비하고, 셋째, 단일 탐지기 결과를 증거처럼 쓰지 말고(특히 제재/징계), 여러 신호와 맥락(작성 이력, 인용, 사실 검증)을 함께 묶어 의사결정하는 체계가 필요합니다.
앞으로의 승부처는 "AI 글을 찾아내기"보다, "어떤 생성 과정이 어떤 통계적 흔적을 남기는지"를 더 정확히 설명하고, 그 설명 가능한 신호들을 조합해 현장에서 쓸 수 있게 만드는 쪽에 있을 겁니다.
참고
1The Science of Detecting LLM-Generated Text
2The Statistical Signature of LLMs
3Diversity Boosts AI-Generated Text Detection
4Robust and Fine-Grained Detection of AI Generated Texts
6[2601.21895] Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text](https://arxiv.org/abs/2601.21895)
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.