Zip-бомбы против агрессивных ИИ-краулеров

#статья #AI #admin #полезное

Владельцы сайтов сталкиваются с огромной нагрузкой от ботов, особенно от краулеров для больших языковых моделей (LLM). Согласно отчету Fastly, такие краулеры способны создавать до 39 тысяч запросов в минуту. За последний год нагрузка от скраперов увеличилась на 87%, а большинство трафика (около 80%) генерируется именно ИИ-краулерами. Для борьбы с ними используются методы ограничения количества запросов, капча и фильтрация по user-agent. Однако наиболее интересным решением являются zip-бомбы, представляющие собой архивы небольшого размера, которые распаковываются в огромные объемы данных, перегружая оперативную память сервера краулера.

Ссылка на статью

Life-Hack - AI