Важно: Cloudflare подкинула проблем. Прочитайте внимательно, а лучше сохраните пост, чтобы не забыть.

Очень многие издания используют (и это правильно) Cloudflare. Сайты загружаются быстрее, справляются с DDoS-атаками, и все это бесплатно или почти бесплатно.

Но сама Cloudflare ведет войну с ботами (и это тоже правильно). Самых разных роботов стало чуть ли не больше, чем живых пользователей. В Cloudflare даже придумали с роботов брать деньги за доступ.

Проблема в том, что с 15 сентября Cloudflare может автоматически включить во всех аккаунтах настройку, которая заблокирует доступ самым разным роботам: и поисковым, и агентским, и обучающим ИИ за ваш счет.

Принцип простой — по умолчанию все роботы из категории агентских и обучающих будут заблокированы. Важный нюанс: если вы разрешили поиск и запретили две другие категории, то универсальный робот, занимающийся одновременно скажем поиском и обучением ИИ, тоже будет заблокирован.

Под раздачу может попасть например Googlebot. Поэтому очень важно до этого срока посигналить вашему техотделу — пусть выдаст разрешение полезным роботам и заблокирует бесполезных.

Ну и если в сентябре вы увидите, что поисковый трафик резко падает, вы знаете, в какую сторону копать.

PS. Вот официальный пресс-релиз.