海外 AIエージェントクローラーには許可が必要:Cloudflareの新ルールと認可ガイド Cloudflareは2026年9月15日より、自社プラットフォーム上でAIエージェントクローラーをデフォルトでブロックする方針を発表した。これによりウェブサイト所有者が明示的に許可しない限り、AIボットはコンテンツにアクセスできなくなる。 Cloudflare AI爬虫 网络爬虫 网站权限 10時間前 51