боты для обучения ИИ съедают пятую часть мощности git-серверов ядра Linux

Скрейперы открывают через веб-интерфейс cgit миллиарды страниц с коммитами, хотя весь репозиторий клонируется одной командой. На пяти нодах git․kernel․org отрисовка страниц для ботов постоянно занимает 14–16 ядер из 90, а на живых людей приходится около 2% запросов.

Proof-of-work-защита Anubis отсекает две трети из примерно 6 млн запросов в день, но остальные проходят: боты научились решать её задачи и ходят с миллионов домашних и мобильных адресов.

В нашем канале «Tproger» разобрали подробнее, с цифрами от сопровождающего git․kernel․org.