AI 크롤러 논쟁은 흔히 “허용할 것인가, 차단할 것인가”로 단순화됩니다. 하지만 Cloudflare의 AI 크롤러 정책에서 더 중요한 질문은 따로 있습니다.
“이 봇은 내 콘텐츠를 어떤 목적으로 가져가는가?”
Cloudflare는 AI 트래픽을 Search, Agent, Training 세 가지 행동 유형으로 나눕니다.1 이 구분이 핵심입니다. 모든 AI 봇이 같은 방식으로 콘텐츠를 쓰는 것은 아니기 때문입니다.
AI 크롤러를 목적별로 나눈다는 것
Cloudflare가 말하는 Search는 콘텐츠를 색인해 나중에 질문 답변에 활용하는 유형입니다.1 전통적인 검색 크롤러와 완전히 같지는 않지만, 사이트 운영자 입장에서는 추천 트래픽이나 공정한 보상을 기대할 여지가 있는 영역으로 설명됩니다.1
Agent는 사람을 대신해 실시간으로 작동하는 자동 활동입니다.1 예를 들어 채팅 서비스가 사용자의 요청에 따라 웹페이지를 가져오거나, 브라우저 사용 에이전트가 페이지를 탐색하는 경우가 여기에 포함됩니다.1
가장 민감한 것은 Training입니다. Training은 콘텐츠를 가져가 모델 학습이나 미세조정에 사용하는 유형입니다.1 퍼블리셔 입장에서는 방문자 유입이나 명확한 보상 없이 콘텐츠 가치가 학습 데이터로 흡수될 수 있기 때문에 별도 판단이 필요합니다.
즉, Cloudflare의 정책 변화는 “AI를 막자”가 아니라 AI 트래픽을 목적별로 구분해 다르게 다루자에 가깝습니다.
기본값 변화가 중요한 이유
Cloudflare는 2026년 9월 15일부터 광고가 있는 페이지에서 기본 설정으로 ‘혼합 사용’ 크롤러를 차단한다고 발표했습니다. 이 기본값 변경은 신규 고객, 기존 고객이 새로 설정한 사이트, 모든 기존 무료 고객에게 적용됩니다.
운영자에게 중요한 변화는 선택지가 더 세분화된다는 점입니다. Cloudflare 고객은 Search, Agent, Training 각 유형별로 독립적인 차단 설정을 적용할 수 있습니다.1 각 프리셋은 다음 중 하나를 선택하는 방식입니다.1
전체 페이지에서 차단
광고가 표시되는 페이지에서만 차단
차단하지 않음
이 기능은 무료 요금제 고객에게도 제공됩니다.1
따라서 사이트 운영자는 더 이상 “AI 전체 허용” 또는 “AI 전체 차단” 사이에서만 선택할 필요가 없습니다. 예를 들어 검색 노출 가능성은 남겨두면서, 학습 목적의 수집은 제한하는 식의 정책 설계가 가능해집니다.
Google Extended와 Cloudflare 접근법의 차이
Google도 사이트 소유자가 Gemini Apps, Vertex API 등 AI 제품·서비스 학습에 쓰이는 것을 거부할 수 있도록 Google Extended 봇을 제공합니다.
다만 Cloudflare의 접근은 특정 회사의 학습 사용을 거부하는 수준을 넘어, AI 트래픽을 행동 유형별로 나누고 사이트 단위 정책으로 관리하게 한다는 점에 있습니다. Search, Agent, Training을 구분하면 운영자는 “누가 가져가느냐”뿐 아니라 “무엇을 하려고 가져가느냐”를 기준으로 판단할 수 있습니다.
이 차이는 앞으로 더 중요해질 가능성이 큽니다. AI 서비스가 검색, 요약, 대리 실행, 학습을 동시에 수행할수록 단순한 허용·차단 규칙만으로는 충분하지 않기 때문입니다.
콘텐츠 접근은 정책과 가격의 문제가 된다
Cloudflare의 AI Crawl Control은 어떤 AI 서비스가 사이트에 접근하는지 확인하고, 개별 크롤러별로 허용·차단 정책을 설정하는 기능입니다.2 여기에 Pay Per Crawl도 연결됩니다.
Pay Per Crawl은 AI 크롤러가 콘텐츠에 접근할 때 사이트 소유자가 요금을 부과할 수 있게 하는 실험입니다. Cloudflare는 402 Payment Required 응답을 활용해 유료 접근 구조를 설명합니다.3
Cloudflare는 나아가 Pay Per Crawl을 ‘Pay Per Use’로 확장해, 콘텐츠가 가치를 만들 때 퍼블리셔가 AI 기업에 요금을 부과할 수 있게 하겠다고 밝혔습니다.
핵심은 방어만이 아닙니다. 콘텐츠 접근권을 정책, 권한, 가격의 문제로 바꾸는 것입니다.
사이트 운영자가 지금 정해야 할 것
Cloudflare의 AI 크롤러 정책은 사이트 운영자에게 실무적인 질문을 던집니다.
검색 노출이나 AI 검색을 통한 유입을 기대할 것인가?
내 콘텐츠가 모델 학습이나 미세조정에 쓰이는 것을 허용할 것인가?
광고가 있는 페이지와 없는 페이지를 다르게 보호할 것인가?
특정 AI 봇에는 접근을 허용하고, 다른 봇은 차단할 것인가?
향후 유료 접근 모델을 고려할 것인가?
AI 시대의 콘텐츠 전략은 더 이상 SEO 설정만으로 끝나지 않습니다. 검색 엔진을 위한 최적화와 함께, AI 크롤러가 콘텐츠를 어떤 목적으로 가져가고 어떻게 사용할 수 있는지 정하는 운영 정책이 필요해졌습니다.
Cloudflare의 변화가 보여주는 결론은 명확합니다. 앞으로의 콘텐츠 보호 전략은 “막을 것인가”보다 “어떤 목적의 접근을 어떤 조건으로 허용할 것인가”에 가까워질 것입니다.
1New options to manage AI traffic · Changelog
2Overview · Cloudflare AI Crawl Control docs
3Introducing pay per crawl: Enabling content owners to charge AI crawlers for access
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.