Платформа SourceHut сообщила о заметном замедлении работы своих сервисов из-за веб-сканеров, используемых разработчиками ИИ. Это явление затрагивает множество ресурсов: в 2023 году OpenAI и другие компании взяли на себя обязательства следовать директивам
robots.txt, однако жалобы продолжают поступать.🛡️ Для защиты от несанкционированного трафика SourceHut внедрила систему Nepenthes и заблокировала диапазоны IP-адресов нескольких облачных провайдеров, таких как Google Cloud и Microsoft Azure. В 2023 году трафик от ИИ-ботов составил значительную долю запросов на различных хостингах, например, 20% от общего объема запросов Googlebot.
💡 Обсуждение ситуации привлекло внимание, в частности, разработчика Diaspora, который указал, что 70% трафика на его сервер приходилось на ИИ-ботов. В ответ на это активность ИИ-сканеров уменьшилась, хотя пользователи стали вновь злоупотреблять запросами под видом OpenAI.
📅 Дата публикации: 18.03.2025
Автор: Павел Котов
Оригинальная статья