AI의 부상으로 웹 크롤러는 갑자기 논란이 되고 있습니다
- 인터넷에서 웹 크롤러의 행동을 규율하는 수십 년 동안 robots.txt가 사용되어왔음
- AI 기업들이 대량의 데이터를 찾으려 하면서 웹의 기본 사회 계약이 붕괴되고 있음
- robots.txt 파일은 웹사이트 운영자들이 웹 크롤러의 접근을 통제할 수 있게 함
- 검색 엔진이 사이트를 스크랩하고 대신에 사용자를 유도하기를 약속함으로써 원래 상호 동의의 관계였음
- 현재 AI 기업들은 웹사이트의 데이터를 사용하여 대규모 훈련 데이터 세트를 구축하고 나아가 크롤러를 통제하는 기존의 합의에 도전
- 크롤러는 웹사이트를 다운로드하고 저장하여 검색 결과에 표시함으로써 가치를 제공
- 인공지능의 부상으로 인하여 많은 출판사 및 플랫폼이 데이터 크롤링에 대해 우려를 표하며 이를 차단하고 있음
- robots.txt 합의는 법적 문서가 아니므로 이행 보증이 없음
- 인터넷 아카이브와 같은 기관이 robots.txt 규칙을 준수하지 않기로 결정하기도 함
- AI 기술의 발전에 따라 웹사이트는 AI 크롤러의 접근을 허용할지 말지를 결정해야 함
- 웹과 AI 커뮤니티가 새로운 AI 및 연구 사례에 대한 웹 게시자의 선택 및 제어를 위한 기계가독 방법을 탐구할 필요가 있음
4theverge.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.