ИИ-краулеры заняли пятую часть мощности git-серверов ядра Linux

Скрейперы, собирающие данные для ИИ, открывают через веб-интерфейс cgit миллиарды HTML-страниц коммитов, хотя любой репозиторий можно склонировать одной командой. На пяти нодах git․kernel․org рендеринг страниц для ботов постоянно занимает 14–16 из 90 ядер, при этом на живых людей, по щедрой оценке автора, приходится около 2% запросов.

Proof-of-work-защита Anubis отсекает две трети из примерно 6 млн запросов в день, но остальные проходят: боты научились решать её задачи и ходят с миллионов домашних и мобильных адресов — прокси-SDK встраивают в том числе в бытовую электронику, — поэтому по адресам их не отрежешь. Инфраструктура уже отключает дорогие веб-функции для анонимных посетителей.

Константин Рябицев, который сопровождает git․kernel․org, разобрал нагрузку в цифрах. Если держите публичный сайт с «дорогими» страницами, посчитайте их трафик отдельно: в общем числе запросов боты не видны.