Точнее автономных и плохо инструктированных. :)
Если год назад, у нас был всего один гигантский пылесос от OpenAI (chatgpt), который было легко отключить инструкцией в robots.txt, то сегодня пылесосы делает кто угодно и на коленке.
В начале октября резко возросли пиковые нагрузки на мой сервер gitea, загрузка 6 ядерного процессора доходит до 15%.
Посмотрим что там. А там у нас автономные агенты, которых делали ламеры!
Левый график - часовой, с начала октября.
Правый график - минутный, с 12 числа до полудня 14го.
Появилось действительно много IP адресов, доступных одному агенту. С каждого адреса приходит всего по 2-5 запросов, но все адреса приходят за 40-50 минут.
Забудьте про вежливость и управляемость парсинга от крупных ИИ. К вам просто прибежит толпа неизвестно кого и перегрузит сервера.
Для правого графика, вот вам два топчика за два дня:
Запросов 76 441 ip адресов 31 053
User-agent: "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36"
Запросов 76 177 ip адресов 30 897
User-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36"
Пока что, агенты пылесосят только код. Сайт вне git их не интересует. Но недалек тот день, когда это все побежит по интернет-магазинам, сайтам услуг, каталогам производств etc.
Если ваш сайт стал испытывать пиковые перегрузки и это не дудос - за вами пришел искусственный шизоинтеллект.