Мне кажется, довольно важное нововведение, а никто о нем не пишет. Получил десятки писем со всех своих аккаунтов об одном и том же.

Cloudflare меняет правила для ИИ-ботов. Частично уже изменил, а с 15 сентября они будут устанавливаться по умолчанию. В общем, проверьте.

Здесь основная новость: https://blog.cloudflare.com/content-independence-day-ai-options/

Теперь Cloudflare делит ботов по тому, что они делают:

Поиск - индексируют страницы для поисковых систем (разрешено по умолчанию).
Агенты - работают от имени пользователей ChatGPT, Gemini, Claude и других.
Обучение - собирают данные для обучения моделей.

С 15 сентября на новых сайтах с рекламой функции "Обучение" и "Агент" будут блокироваться по умолчанию.

Есть нюанс. Если заблокировать "Обучение", под блокировку попадают и универсальные краулеры вроде Googlebot, Applebot и Bingbot.

В целом Cloudflare уходит от принципа "разрешить или запретить ИИ" к более точному управлению разными сценариями использования контента.

То есть, уже сейчас:

- появились новые категории ботов: Search, Agent и Training;
- новые настройки доступны всем пользователям, включая бесплатный тариф;
- можно вручную настроить правила для каждой категории уже сегодня.

А с 15 сентября 2026 года:

- Cloudflare изменит настройки по умолчанию;
- для новых сайтов (и новых доменов существующих аккаунтов) на страницах с рекламой Agent и Training будут блокироваться автоматически, Search останется разрешен;
- существующие бесплатные аккаунты, которые ничего не меняли в настройках, тоже автоматически переведут на новые значения по умолчанию.

Самый опасный момент для SEO - правило о "смешанных" краулерах. Начиная с 15 сентября, если у вас включена блокировка Training, Cloudflare будет применять самое строгое правило ко всему краулеру.

Поэтому под блокировку могут попасть Googlebot, Bingbot и Applebot, если они используют один и тот же краулер для поиска и других задач. Именно поэтому настройте все заранее, чтобы не запретить для ботов-братиков посещение сайта.