Как боты пользуются интернетом
Продолжаем тему ИИ и визуализации данных — на этот раз смотрим, как боты захватывают интернет.

Вы наверняка видели новости про то, что объем трафика, сгенерированного ботами, превысил объемы человеческого. В The Agentic Web Index можно посмотреть, из чего он складывается и что за боты ходят по нашим сайтам.

🔵Значительная его часть приходится на поисковых ботов (они же краулеры), которые индексируют сайты для баз данных поисковиков, и SEO-ботов, анализирующих структуру и контент сайтов для последующей оптимизации. А вот на уже 3 месте оказались боты, которые собирают данные для ИИ-выдачи.
🔵На ИИ-скрейперов приходится 11% бототрафика, из которых 26% генерирует Claude. Чаще всего он собирает данные о праве и вопросах государственного управления почему-то.
🔵ChatGPT чаще других цитирует данные из интернета в своих ответах и направляет людей на сайты-источники. Впрочем, процент переходов пока совсем невпечатляющий — всего-то 0,1%. 
❤️Ну и хорошая новость напоследок — 95% ботов следуют указаниям в robot.txt. Пока.