Админ kernel.org Константин Рябцев опубликовал данные анализа трафика сервиса git.kernel.org, который ежедневно обрабатывает около шести миллионов запросов. Лишь два процента обращений исходят от реальных разработчиков, а остальные 98% генерируют боты-скрапперы.
Вместо стандартной загрузки кода через команду git clone, автоматизированные скрипты перебирают все возможные варианты обращений через веб-интерфейс, многократно запрашивая старые ветки и создавая колоссальную нагрузку на оборудование.
Борьба с проблемой 👇
⏺ Изначально пытались бороться с помощью системы Anubis, которая требует от устройства посетителя решения вычислительной задачи на JavaScript для получения доступа. Защита успешно отсеивала 66% ботов, но со временем создатели парсеров адаптировали свои скрипты. Сейчас скрапперы успешно решают задачи пятого уровня сложности, а дальнейшее усложнение алгоритма сделает сервис невыносимо медленным для легитимных пользователей.
⏺ Традиционная блокировка по IP-адресам полностью потеряла эффективность. Боты перешли на распределенную отправку запросов через миллионы адресов из обычных домашних и мобильных сетей, используя мощности ботнетов и монетизированных расширений для браузеров. Поскольку с каждого IP-адреса отправляется не более пяти запросов, межсетевые экраны не успевают распознать угрозу и заблокировать источник.
В текущей ситуации на обслуживание паразитного трафика уходит больше ресурсов, чем на все полезные операции вместе взятые. На пяти серверах проекта до 16 из 90 процессорных ядер непрерывно заняты генерацией страниц для ботов. Для снижения нагрузки администраторы приняли решение урезать функциональность веб-интерфейса, отключить часть ресурсоемких функций, ограничить доступ для анонимных пользователей и сократить количество ссылок для навигации по репозиториям.
Linux / Линукс 🥸