Cloudflare 近日推出AI审核功能,帮助网站管理员了解AI服务、爬虫如何访问其网站内容,并能够通过网络级防火墙(WAF)强制执行robots.txt政策,确保AI爬虫遵守网站内容访问限制
💡功能说明
通过AI审核面板,用户可以轻松查看AI爬虫访问其网站的情况,包括访问请求次数和路径概述
用户可按AI搜索引擎或爬虫分类过滤数据,并检查哪些AI服务遵守了robots.txt文件中的规则
网站管理员可以在仪表盘中查看AI爬虫对robots.txt文件的遵守情况
如果发现恶意、滥用行为,管理员可以一键在网络级别配置相应规则策略,确保AI服务商按照robots.txt策略访问网站
通过该功能,网站不仅可以声明对AI爬虫的访问限制,还能主动控制和执行这一限制,防止未经授权的数据被抓取
目前,此功能现已对所有Cloudflare用户开放可用
后续,站长还可以通过AI审计提供的访问控制,对网站内容、页面设定协议、价格,向模型提供商收取内容抓取、使用费用
Start auditing and controlling the AI models accessing your content
Robotcop: enforcing your robots.txt policies and stopping bots before they reach your website
#AI #Audit #Robotcop #Crawler
Via @Cloudflare_CN