Сервис Cloudflare анонсировал новую настройку «Запрет обучения ИИ» , которая позволяет поддерживать индексацию для поиска, не позволяя при этом тому же поисковому роботу обучаться на вашем контенте. 

"Apple, Google и Microsoft соблюдают или обязались (в течение определенного периода времени) соблюдать эту настройку.
Сложность в вопросе обучения заключалась в использовании краулеров смешанного назначения. Следующий шаг — создание сводок с помощью ИИ. Однозначный ответ «да» или «нет» для всего сайта слишком категоричен: то, какая часть вашего контента отображается в сводке, имеет такое же значение, как и то, отображается ли она вообще. Возможность отказаться от использования сводок с помощью ИИ уже является одним из требований, которые мы установили для операторов краулеров смешанного назначения. К началу следующего года наша цель — позволить вам контролировать, какая часть вашего контента будет включена в сводку — это будет настраиваться один раз в Cloudflare, а не для каждого оператора отдельно."