Интересное изобретение. Компания Cloudflare представила инновационное решение для защиты от ботов и краулеров на основе искусственного интеллекта — «AI Labyrinth».

Вместо того чтобы просто блокировать несанкционированных ботов, которые игнорируют директивы «no crawl», система создаёт страницы-ловушки, сгенерированные искусственным интеллектом, чтобы замедлить, запутать и истощить ресурсы этих ботов.

Суть технологии заключается в том, что когда краулер пытается собрать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на страницы, созданные искусственным интеллектом. Боты следуют по этим ссылкам и попадают в «лабиринт» связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят и не переходят по ним.

Это даёт двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит «приманкой» для идентификации ботов — если кто-то перешёл на четвёртую страницу сгенерированной бессмыслицы, это почти наверняка бот, а не человек.

По данным Cloudflare, краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. Не угрожает ли это качеству поисковиков и всяких GPT, если теперь их ИИ будут тренироваться на бессмысленных «лабиринтах», сгенерированных другим ИИ?

https://blog.cloudflare.com/ai-labyrinth/