TL;DR: Google бот заходит на одни страницы в 8 раз чаще, чем на на другие, даже если контент сгенерирован по одному шаблону. Если коротко, то метрики вроде кликов, объема текста или уникальных биграм - не объясняют поведение бота.
Есть у меня скрипт, который считает, сколько раз Google бот зашёл на каждую страницу, записывает дату посещения и обновляет счётчик.
На сайте около 3000 страниц сгенерированных ChatGPT + интерактивные таблицы и уникальная информация собранная из приватных сервисов. Ранжирование очень слабое. Бывают всплески показов и кликов, потом всё уходит в ноль. В начале был "бонус новичка", но потом фильтр "низкое качество / thin content" сделал своё дело.
Данные Google бота:
- Максимум визитов на одну страницу с января 2022: 40
- 648 страниц: дата последнего визита = дата первого (январь 2025)
- 54 страницы - вообще ни разу не сканировались
- За последний месяц бот посетил 458 страниц 3765 раз (среднее 8)
- В индексе 952 страницы (GSC), остальные в категории Crawled - currently not indexed. В мае в индексе было 3000 страниц.
Вопрос: почему бот сканирует одни страницы чаще других, если все сгенерированы по одному шаблону?
Я проверил корреляцию посещений бота с разными метриками:
- Кол-во кликов из Google (GSC): 0.21
- Кластер: 0.12
- Global Volume кейворда: 0.07
- Кол-во слов: 0.07
- Части речи (VERB, AUX и т.д.): 0.06
- Процент уникальных биграм: -0.06
- Кол-во показов из Google: 0.06
- BM25 Score (название + описание): -0.03
- Косинусное сходство заголовка и текста: 0.001
Вывод: бот ценит что-то, что сложно измерить стандартными метриками.