Cloudflare推出AI审核功能：强化robots.txt策略执行

Cloudflare 近日推出AI审核功能，帮助网站管理员了解AI服务、爬虫如何访问其网站内容，并能够通过网络级防火墙（WAF）强制执行robots.txt政策，确保AI爬虫遵守网站内容访问限制

💡功能说明
通过AI审核面板，用户可以轻松查看AI爬虫访问其网站的情况，包括访问请求次数和路径概述
用户可按AI搜索引擎或爬虫分类过滤数据，并检查哪些AI服务遵守了robots.txt文件中的规则
网站管理员可以在仪表盘中查看AI爬虫对robots.txt文件的遵守情况
如果发现恶意、滥用行为，管理员可以一键在网络级别配置相应规则策略，确保AI服务商按照robots.txt策略访问网站

通过该功能，网站不仅可以声明对AI爬虫的访问限制，还能主动控制和执行这一限制，防止未经授权的数据被抓取
目前，此功能现已对所有Cloudflare用户开放可用
后续，站长还可以通过AI审计提供的访问控制，对网站内容、页面设定协议、价格，向模型提供商收取内容抓取、使用费用

Start auditing and controlling the AI models accessing your content
Robotcop: enforcing your robots.txt policies and stopping bots before they reach your website
#AI #Audit #Robotcop #Crawler
Via @Cloudflare_CN