Cloudflare представил Bot Preference Sync:

"Синхронизация настроек бота отражает то, что вы настроили в своей конфигурации AI-бота, обновив соответствующие настройки файла robots.txt в соответствии с вашими предпочтениями, и его можно включить или выключить в любое время. Больше никаких статичных файлов для одного варианта использования: мы поможем вам адаптировать ваш robots.txt с учетом того, что вы уже настроили для разных категорий ИИ-ботов."

Ох, чую, понаворотят сейчас пользователи делов с файлом robots.txt 😊