AI 스크레이퍼들이 주석이 달린 스크립트를 요청합니다.

최근 서버 로그 파일에서 발생한 이상 현상 조사 중, 주말에 악성 봇 행위가 발견됨.

JavaScript 파일에 대한 여러 404 오류가 있었으며, 댓글로 처리된 스크립트 태그 때문에 요청되지 말아야 할 파일이 요청됨.

이러한 오류가 재발함에 따라 의심스러운 사용자 에이전트들이 감지됨: python-httpx, Go-http-client, 그리고 Gulper Web Bot 등.

로봇을 금지하는 robots.txt 파일을 무시하고 사이트에서 소스 파일을 요청하는 봇들이 확인됨.

이러한 봇들은 비합의적으로 데이터를 수집하여 LLM(대규모 언어 모델) 훈련에 활용하고 있을 가능성이 있음.

봇의 탐욕적인 목적을 이용하여 알고리즘을 파괴하는 방법이 제안됨.

공개적 대응은 비효율적인 봇 행위를 알리고, 관리자들이 이러한 비정상적인 요청을 차단하도록 유도함.

IP 필터링을 통해 악성 요청을 차단할 수 있으며, 이를 위해 fail2ban 같은 툴을 실행할 수 있음.

다운로드 폭탄이나 데이터 독성이 부정적인 영향을 미치도록 함으로써 악의적 시스템에 대항할 수 있는 공격적 방법이 논의됨.

봇의 구체적인 행동에 기반한 차단 방법과 방어 조치를 지속적으로 강화해야 함.

다양한 기술과 데이터 중독 방법을 활용하여 봇에 대한 방어와 공격을 계속 연구 및 개발해야 한다는 결론에 도달함.