Cloudflare начал различать AI-ботов

Вчера, 15 сентября, Cloudflare добавил настройки для AI-трафика на новых доменах.
Теперь автоматические системы разделяются на три категории: 

Search — поисковые краулеры;
Agent — AI-агенты, которые действуют от имени пользователя;
Training — боты, собирающие контент для обучения или дообучения моделей.

По умолчанию для новых доменов Cloudflare будет блокировать Agent и Training на страницах с рекламой, а Search оставлять разрешенным.
Причем отдельное внимание уделяется агентам, которые в реальном времени заходят на сайты по запросу пользователя, например, browser-use системам.

Для разработки это важный сигнал: интернет постепенно перестает относиться ко всем AI-ботам одинаково. 
Сайт может разрешить поисковому краулеру индексировать контент, но одновременно запретить AI-агенту использовать этот же контент в реальном времени или отправлять его на обучение модели.

Когда агент открывает сайт, читает страницу и кликает по ссылкам вместо пользователя, он становится новым типом потребителя веб-контента, и в гораздо большем масштабе. Для владельца сайта это дополнительная нагрузка на инфраструктуру, но кто получает ценность его контента — человек, поисковик, AI-агент или разработчик модели?

Cloudflare предлагает определять, что именно AI-система собирается делать с сайтом.
Появляется новый слой AI access control и разработчикам AI-агентов теперь недостаточно уметь открыть страницу и извлечь из нее данные — нужно учитывать, разрешает ли инфраструктура сайта такой тип автоматизированного доступа.

Такие правила, вероятно, будут становиться обычной частью веб-инфраструктуры по мере распространения автономных агентов.

AI в разработке