网络爬虫に関するニュース

AIエージェントクローラーには許可が必要：Cloudflareの新ルールと認可ガイド

Cloudflareは2026年9月15日より、自社プラットフォーム上でAIエージェントクローラーをデフォルトでブロックする方針を発表した。これによりウェブサイト所有者が明示的に許可しない限り、AIボットはコンテンツにアクセスできなくなる。