Нейронные сети.
Искусственный интеллект.
Обзор софта.
Новости.
Связь @adm1nLH
#ai #нейронныесети #ии
Post #352
435

Zip-бомбы против агрессивных ИИ-краулеров
#статья #AI #admin #полезное
Владельцы сайтов сталкиваются с огромной нагрузкой от ботов, особенно от краулеров для больших языковых моделей (LLM). Согласно отчету Fastly, такие краулеры способны создавать до 39 тысяч запросов в минуту. За последний год нагрузка от скраперов увеличилась на 87%, а большинство трафика (около 80%) генерируется именно ИИ-краулерами. Для борьбы с ними используются методы ограничения количества запросов, капча и фильтрация по user-agent. Однако наиболее интересным решением являются zip-бомбы, представляющие собой архивы небольшого размера, которые распаковываются в огромные объемы данных, перегружая оперативную память сервера краулера.
Ссылка на статью
Life-Hack - AI
#статья #AI #admin #полезное
Владельцы сайтов сталкиваются с огромной нагрузкой от ботов, особенно от краулеров для больших языковых моделей (LLM). Согласно отчету Fastly, такие краулеры способны создавать до 39 тысяч запросов в минуту. За последний год нагрузка от скраперов увеличилась на 87%, а большинство трафика (около 80%) генерируется именно ИИ-краулерами. Для борьбы с ними используются методы ограничения количества запросов, капча и фильтрация по user-agent. Однако наиболее интересным решением являются zip-бомбы, представляющие собой архивы небольшого размера, которые распаковываются в огромные объемы данных, перегружая оперативную память сервера краулера.
Ссылка на статью
Life-Hack - AI
- 😁 4
- ❤ 3















