Cloudflare, AI 크롤러 접근 유료화 시도

클라우드플레어의 새로운 시장 개척

2025년 7월, 클라우드 컴퓨팅 서비스 제공업체인 Cloudflare는 웹사이트 콘텐츠에 대한 AI 크롤러의 접근을 유료화할 수 있는 새로운 플랫폼을 발표했습니다. 이 플랫폼은 AI 크롤러가 웹 콘텐츠를 스크랩할 때마다 웹사이트 소유자에게 소액 결제를 하는 방식으로, Pay Per Crawl이라는 이름의 이 시스템은 현재 사설 베타 단계에서 운영되고 있습니다.

AI 크롤러의 양날의 검

최근 AI 크롤러의 증가로 인해 많은 콘텐츠 창작자는 자신의 콘텐츠가 무료로 사용되는 것에 대해 우려를 표하고 있습니다. 특히 기존 구글 검색 엔진은 콘텐츠 제공자에게 트래픽을 돌려줌으로써 광고 수익을 창출할 수 있었으나, AI 기반 서비스의 경우 기본적으로 트래픽을 제공하지 않아 경제적 모델이 붕괴되고 있습니다.

웹 콘텐츠의 새로운 경제 모델

Cloudflare는 Pay Per Crawl을 통해 콘텐츠 제공자에게 더 많은 통제권과 수익 창출 기회를 부여하려고 하고 있습니다. 새로운 웹사이트는 기본적으로 모든 AI 크롤러의 접근을 차단하며, 사이트 소유자는 어떤 AI 크롤러에게 접근을 허용할지 결정할 수 있습니다. 또한, 사이트 소유자는 AI 크롤링 시 정해진 가격을 설정하여 AI 크롤링 당 소액 결제를 요구할 수 있습니다.

혁신을 위한 발판

Cloudflare의 CEO인 매튜 프린스는 "원본 콘텐츠는 인터넷의 가치를 결정하는 요소이며, 이를 보호하는 것이 우리의 목표입니다"라며 콘텐츠 창작자가 더 많은 통제권을 가질 수 있게 함으로써 AI 회사들이 책임 있게 성장할 수 있는 환경을 만들고자 합니다.

AI 크롤러와의 공존

이 시스템은 AI 크롤러가 계속해서 콘텐츠를 읽고자 할 경우 비용을 지불하게 만드는 것이 목표이며, 이를 통해 콘텐츠 창작자가 AI 경제에서 공평한 대가를 받을 수 있도록 돕고자 합니다. 이를 위해 참가자는 Cloudflare 계정을 설정하고 크롤러와 콘텐츠 제공자가 각각 벤처형 대화 방식으로 가격을 설정할 수 있습니다.

향후 전망

Cloudflare는 이 시스템이 앞으로 AI 크롤러, 콘텐츠 창작자, 최종 사용자 간 건강하고 지속 가능한 인터넷 생태계를 발전시키는 데 기여하기를 기대하고 있습니다. 이는 인터넷의 경제 모델을 재설정하고 콘텐츠를 보호하는 데 중요한 역할을 할 수 있습니다.