У меня уже 4 года есть технический сайт, где живут внутренние api, статистика, репозитории кода etc.

В последние полгода я вижу экспоненциальный рост количества запросов к нему от роботов.

Давно хотел посмотреть, что же там происходит. А у нас там - буйное развитие искусственных интеллектов.

Источник данных - лог моего сервера nginx за две недели.

Всего хитов - 2 563 302.
Уникальных ip aдресов - 12 567.
Уникальных строк user agent - 2 461.

Топ 10 по запросам (из user agent извлечены ссылки на сайты роботов):

1. https://openai.com - 1 017 453
2. https://help.seranking.com - 354 104
3. https://developer.amazon.com - 292 023
4. http://www.semrush.com - 98 662
5. https://anthropic.com - 73 963
6. http://www.google.com - 13 681
7. http://ahrefs.com - 6 129
8. https://opensiteexplorer.org - 1 123
9. https://www.cyberok.ru - 606
10. http://yandex.com - 355

Всего, топ 10 сгенерировал 1 858 099 запросов, или 72%. Причем чатжпт, в одно лицо - 40%.

Это они так код пылесосят. Любая поделка, выложенная в интернет, будет сосканирована и выдана вам как результат работы AI.

И роботы будут многократно, раз в несколько секунд перепроверять, не изменилось ли что, даже если репозиторий 3 года не изменялся.

Вот на этот цирк ребята и сжигают деньги, называя его развитием.