"Reuters и Time начали блокировать всех ботов с искусственным интеллектом по умолчанию и создали белые списки разрешенных ботов для доступа к контенту на своих сайтах.
...
Для управления ботами на основе ИИ Time использует ScalePost.
...
Агентство Reuters блокирует ботов по умолчанию с помощью файла robots.txt"
Что-то мне подсказывает, что использовать robots.txt для блокировки ИИ ботов – это как шлагбаум в чистом поле поставить. 😀
