Если GPTBot внезапно перестал сканировать ваш сайт - не паникуйте! Похоже, теперь это нормальная тенденция / Matthew Edgar

GPTBot (обучающий бот OpenAI) не сканирует ваш сайт регулярно, как это делает Googlebot. Вместо этого, на всех сайтах, которые удалось проанализировать, GPTBot сканирует контент спорадически (нерегулярно). В некоторые дни он сканирует сайт интенсивно, а затем практически исчезает на несколько недель. Или же он интенсивно сканирует один раздел сайта в некоторые дни, а затем переключается на сканирование другого раздела.

Поэтому, если вы заметили, что GPTBot внезапно перестал сканировать ваш сайт или какой-либо его раздел, это, вероятно, не проблема. Я понимаю, почему клиенты постоянно спрашивают меня об этом, потому что эта закономерность определенно выглядит тревожной. Если вы видите снижение частоты сканирования, обязательно проверьте, не произошло ли чего-либо, что могло бы вызвать это. Но, скорее всего, это просто нормальное поведение, и, скорее всего, GPTBot вернется на сайт в какой-то момент времени в будущем.

Приложенная тепловая карта показывает активность сканирования GPTBot на нескольких разных сайтах. Светлые цвета указывают на меньшее количество сканирований. Темные цвета указывают на большее количество сканирований, а красный цвет указывает на интенсивные сканирования со стороны GPTBot.

Моменты, которые выглядят очевидными:
- У каждого сайта свой паттерн: у многих сайтов бывают дни, когда GPTBot вообще их не сканировал (белые квадраты).
- Более интенсивные сканирования GPTBot, как правило, приходятся на один и тот же день на несвязанных сайтах. Это говорит о том, что OpenAI запускает GPTBot импульсами.
- Данная тепловая карта представляет собой смесь больших и маленьких сайтов, и все они в основном демонстрируют схожие тенденции. А именно: независимо от размера сайта, GPTBot не сканирует его постоянно.

Также прилагается линейный график сканирования одного из сайтов.
Конечно, конкретные тенденции сканирования различаются для разных сайтов, но этот график - хороший пример того, как выглядят большинство сканирований ботом GPTBot.

А как выглядят сканирования GPTBot на вашем сайте?