Cloudflare 重构 AI 爬虫为三段式管控

过去的一键“拦截所有 AI 机器人”开关被拆分为三种独立分类：Search（搜索）、Agent（智能体）、Training（训练），包括免费版在内的所有客户均可分别配置。这是一个比表面看起来更重要的分类。Search 爬虫的目的是索引内容并在查询时给出答案。

#GitHub #开源 #Cloudflare #AI爬虫 #三段式 #Search #Agent #Training #网络安全
@GitHubTrendingHub