Cloudflare обновила директивы файла robots.txt, позволяя сайтам контролировать доступ ИИ-чат-ботов к своему контенту. Теперь владельцы могут устанавливать три типа разрешений:

1. search — для индексирования поисковыми системами.
2. ai-input — для использования контента в ответах ИИ.
3. ai-train — для обучения моделей ИИ.

Каждый из этих пунктов может иметь значения "да" или "нет". Это изменение нацелено на защиту контента и может стать основой для юридических разбирательств с разработчиками ИИ. Cloudflare уже внедрила эти директивы для более чем 3,8 миллиона доменов. Также тестируется возможность взимать плату за доступ ботов к ресурсам сайта.

Для более подробной информации можно ознакомиться с текстом оригинальной статьи.

@Unlim_AI