웹사이트 운영자가 던져야 할 질문이 바뀌고 있다. 예전에는 “AI 봇을 막을까?”가 핵심이었다. 이제는 “이 봇이 내 콘텐츠로 무엇을 하려는가?”를 먼저 봐야 한다.
Cloudflare의 새 AI 봇 제어는 이 관점을 제품 설정으로 옮긴 사례다. 2024년 7월부터 제공하던 “AI 크롤러 전체 차단”에서 한 단계 나아가, AI 트래픽을 Search, Agent, Training으로 나눠 관리하게 했다.1
핵심은 AI 여부가 아니라 사용 목적이다
Cloudflare는 봇을 단순히 AI인지 아닌지로 나누지 않는다. 사이트 안에서 어떤 행동을 하는지, 데이터를 어떻게 저장하는지, 콘텐츠를 어떻게 재사용하는지를 기준으로 분류한다.1 이는 현실적인 접근이다. 검색 서비스도 AI 답변을 만들고, AI 서비스도 검색처럼 웹을 읽는 시대에는 “AI 봇”이라는 한 단어만으로 위험과 가치를 판단하기 어렵기 때문이다.
Cloudflare가 제시한 세 가지 분류는 다음과 같다.
Search는 콘텐츠를 수집하거나 색인해 나중에 검색·질의응답에 활용하는 크롤링이다.1 사이트 입장에서는 발견 가능성과 연결된다. 무조건 막으면 AI 검색이나 검색형 서비스에서 노출이 줄어들 수 있다.
Agent는 사용자를 대신해 실시간으로 작업을 수행하는 자동화다.1 ChatGPT-User처럼 사용자가 요청한 페이지를 가져오는 채팅 fetch 봇이나, Gemini·Claude가 브라우저를 조작하는 형태의 에이전트가 여기에 포함된다.1 단순 크롤링보다 로그인, 폼, 결제 흐름과 맞물릴 수 있어 별도 검토가 필요하다.
Training은 모델 학습이나 파인튜닝을 위해 콘텐츠를 가져가는 크롤러 행위다.1 핵심 기준은 사이트 데이터가 AI 모델의 기본 아키텍처에 장기적으로 흡수돼 성능 개선에 사용된다는 점이다.1 검색 노출과 달리 사이트로 돌아오는 가치가 불명확할 수 있으므로, 많은 운영자가 가장 민감하게 볼 영역이다.
설정은 목적별로 나뉜다
Cloudflare 고객은 Security Settings > Configure AI bot policies에서 Search, Agent, Training 각각의 접근 정책을 설정할 수 있다.2 각 항목은 다음 세 가지 중 하나로 선택한다.2
전체 페이지에서 차단
광고가 표시되는 페이지에서만 차단
허용
이 옵션은 무료 플랜 사용자에게도 제공된다.1 따라서 대형 기업뿐 아니라 개인 블로그, 미디어 사이트, 커뮤니티 운영자도 목적별 정책을 세울 수 있다.
기본값에도 중요한 변화가 있다. 2026년 9월 15일부터는 광고가 있는 페이지에서 Training 및 Agent 봇이 기본적으로 차단된다.2 Search는 기본 허용된다.2 광고 페이지는 사람이 방문해 수익을 만드는 공간이라는 점을 반영한 조치로 볼 수 있다. 즉, 검색을 통한 발견 가능성은 열어두되, 학습과 자동화 행위는 더 신중하게 다루겠다는 방향이다.
혼합 목적 봇은 더 엄격하게 봐야 한다
실무에서 가장 까다로운 문제는 하나의 봇이 여러 목적을 가질 때다. 어떤 크롤러는 검색 색인, AI 답변 생성, 모델 학습을 동시에 수행할 수 있다. Cloudflare는 이런 경우 단일 목적이 아니라 모든 목적 기준으로 추적해야 한다고 설명한다.1
따라서 사이트 운영자가 Training을 차단하면, Search 기능을 함께 수행하는 크롤러도 영향을 받을 수 있다.2 이는 불편해 보일 수 있지만, 목적별 선택권을 실제로 보장하려면 필요한 구분이다. “검색은 허용하지만 학습은 차단한다”는 정책이 가능하려면, 봇 운영자도 목적을 명확히 분리해야 한다.
Cloudflare도 검색 색인, 에이전트 동작, 모델 학습을 모두 수행하는 사업자에게 목적별로 별도 크롤러를 운영하라고 권장한다.1 그래야 사이트 운영자가 각 목적에 대해 명확한 결정을 내릴 수 있다.
운영자는 정책표를 만들어야 한다
Cloudflare의 변화는 단순한 차단 버튼 추가가 아니다. AI 트래픽 관리를 “허용 또는 차단”에서 “목적별 정책 설계”로 옮기는 변화다.
실무적으로는 다음처럼 접근하는 것이 유용하다.
공개 문서나 마케팅 페이지는 Search 허용을 우선 검토한다.
광고 수익이 중요한 페이지는 Training과 Agent 제한을 검토한다.
로그인, 폼, 결제, 계정 관리 흐름이 있는 페이지는 Agent 접근을 보안 정책과 함께 본다.
원천 콘텐츠, 유료 콘텐츠, 독점 데이터는 Training 허용 여부를 별도로 판단한다.
기업 고객에게는 BotBase도 제공된다. BotBase는 알려진 봇과 분류를 대시보드에서 검색·확인할 수 있는 데이터베이스다.1 앞으로 AI 봇 관리는 특정 봇 이름을 기억해 막는 방식보다, 트래픽을 관찰하고 목적별 정책을 조정하는 방식에 가까워질 가능성이 크다.
결론은 단순하다. 사이트 운영자는 이제 봇을 이름이 아니라 목적별로 봐야 한다. Search, Agent, Training을 구분해 어떤 콘텐츠는 발견되게 하고, 어떤 콘텐츠는 학습이나 자동화 사용에서 보호할지 정하는 것이 Cloudflare AI 봇 제어의 핵심이다.
1Your site, your rules: new AI traffic options for all customers
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.