웹사이트는 오랫동안 robots.txt를 통해 크롤러에 수집 거부 의사를 표시해 왔다. 하지만 이는 강제 장치라기보다 요청에 가깝다. Patreon이 Cloudflare와 협력해 AI 학습 봇의 접근을 실제로 차단하기 시작한 배경이다.1
핵심은 모든 봇이 아니라 ‘학습 봇’을 막는 것
Cloudflare는 자동화 트래픽을 세 가지 용도로 분류한다.2
검색: 콘텐츠를 수집하거나 색인해 이후 검색 질의에 활용할 데이터베이스를 구축한다.
에이전트: 사용자를 대신해 실시간으로 페이지를 읽거나 작업한다.
ChatGPT-User같은 채팅 가져오기 봇도 여기에 포함된다.학습: 모델의 학습이나 미세 조정에 사용할 콘텐츠를 수집한다.
Patreon은 이 가운데 창작자 콘텐츠를 AI 학습에 사용하는 봇을 차단한다. 반면 페이지를 색인하고 사용자를 Patreon으로 연결하는 봇은 허용한다. 창작물에 대한 통제권을 강화하면서도 검색과 발견을 통한 유입은 유지하려는 선택이다.
거부 의사 표시에서 기술적 집행으로
Patreon은 2023년부터 AI 크롤러를 억제하는 조치를 시행해 왔다. 이번에는 Cloudflare의 AI Crawl Control을 활용해 정책을 실제 접근 차단과 연결했다. 기능 테스트에서는 개별 AI 학습 크롤러의 Patreon 주간 접근 시도가 수천 건에서 0건으로 감소했다.1
이 변화가 보여주는 바는 분명하다. AI 크롤링 정책은 선언만으로 완성되지 않는다. 어떤 접근을 허용하거나 차단할지 정한 뒤, 이를 집행할 기술이 함께 있어야 한다.
다목적 크롤러는 별도로 살펴봐야 한다
목적별 통제가 항상 단순한 것은 아니다. 하나의 크롤러가 검색과 학습을 모두 수행할 수 있기 때문이다.
Cloudflare는 여러 용도로 분류되는 크롤러에 해당하는 모든 접근 규칙을 적용한다. 따라서 검색과 학습을 겸하는 크롤러는 학습 차단 설정 때문에 접근이 차단될 수 있다. Googlebot·Applebot·BingBot이 이러한 다목적 크롤러의 사례로 제시됐다.2
즉, “검색 봇은 허용하고 학습 봇은 차단한다”는 원칙을 세웠더라도 실제 결과는 크롤러의 분류에 따라 달라질 수 있다. 사이트 운영자는 차단 여부뿐 아니라 검색 노출과 사용자 유입에 미칠 영향도 함께 검토해야 한다.
사이트 운영자가 적용할 판단 기준
AI 봇 정책은 더 이상 ‘전부 허용’과 ‘전부 차단’ 중 하나를 고르는 문제가 아니다. 다음 세 가지 질문을 분리해 판단하는 편이 실용적이다.
검색 색인을 허용할 것인가?
콘텐츠 발견과 방문자 유입에 어떤 가치가 있는지 살펴본다.실시간 에이전트 접근을 허용할 것인가?
사용자를 대신한 페이지 조회나 작업을 어디까지 받아들일지 정한다.모델 학습용 수집을 허용할 것인가?
콘텐츠가 모델 학습이나 미세 조정에 사용되는 것을 허용할지 결정한다.
Cloudflare는 이러한 검색·에이전트·학습별 트래픽 제어 기능을 무료 요금제 고객에게도 제공한다.2
Patreon의 AI 봇 차단이 주는 핵심 교훈은 ‘모든 자동화 트래픽을 막아야 한다’는 것이 아니다. 봇이 콘텐츠를 어떤 목적으로 가져가는지 구분하고, 사이트가 얻는 가치와 창작자의 통제권을 기준으로 접근 정책을 설계해야 한다는 것이다. 이제 콘텐츠 보호는 단순한 거부 선언을 넘어 목적별 정책과 기술적 집행의 문제로 이동하고 있다.
1Patreon stops asking AI bots not to scrape -- and starts blocking them
2Your site, your rules: new AI traffic options for all customers
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.