Сегодня компания Cloudflare анонсировала новую директиву Content-Signal, которая позволит сообщать через robots.txt , можно ли использовать ваш контент в обзорах ИИ от Google (а также для обучения ИИ).
Ее значения:
• search: разрешение на создание поискового индекса и отображение ссылок/фрагментов (традиционный поиск).
• ai-input: разрешение использовать контент в качестве входных данных для ответов, генерируемых ИИ.
• ai-train: разрешение на использование контента для обучения моделей ИИ.