15 сентября Cloudflare может случайно заблокировать Googlebot

С 15 сентября новым сайтам на Cloudflare по умолчанию включат блокировку ботов, которые обучают ИИ, и ботов-агентов, но только на страницах с рекламой. Поисковых ботов это не касается, их не блокируют.

Но вот в чем подвох. Googlebot это не два разных бота, а один на две задачи: он и добавляет сайт в поиск Google, и собирает данные для обучения ИИ. Cloudflare не умеет разделять эти задачи внутри одного бота. Если он попадает под блокировку как обучающий, то блокируется весь целиком. То есть, блокируя ИИ-обучение, можно случайно отключить и индексацию сайта в Google. Та же история с Applebot и Bingbot.

По данным самой Cloudflare, 36% всей краулерной активности сейчас как раз генерируют такие смешанные боты.

Новые правила касаются новых клиентов Cloudflare, новых сайтов у существующих клиентов и всех, кто на бесплатном тарифе.

Что делать: если ваш сайт на Cloudflare, у вас есть 5 недель, чтобы проверить настройки ботов, пока дефолты не отключили вам индексацию в Google и цитирования в AI Overviews. Зайдите в дашборд, откройте Security и проверьте конфигурацию ИИ-краулеров до 15 сентября. Если хотите избежать проблем, нужно явно отказаться от новых дефолтов ☝️