"Компания Cloudflare установила для индустрии искусственного интеллекта новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например, Google Search, от тех, которые используются для работы с ИИ-агентами и обучения. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на любых страницах, где размещается реклама"
Интересно, а почему только на страницах с рекламой?
