Когда страницы сайта соответствуют всем техническим требованиям, но не индексируются поисковиками / Adam Gent

Официальный документ Google говорит о том, что индексация - это всего лишь набор технических требований к страницам сайта:

- Страница имеет поддерживаемый тип
- Страница возвращает код ответа сервера 200
- Роботу Googlebot разрешено сканировать страницу
- На странице нет директивы Noindex
- Страница не нарушает правила борьбы со спамом
- И т.п.

Но вот в чем дело...

Соблюдение технических требований всего лишь делает вашу страницу подходящей для индексации.

В Indexing Insight мы ежедневно отслеживаем сотни тысяч страниц. И наши данные показывают, что Google активно удаляет страницы из своего индекса после получения сигналов в течение 130+ дней.
Через 190 дней Google начинает вообще забывать о существовании страниц.

Почему так происходит?

Gary Illyes подтвердил нашу гипотезу: Google собирает сигналы о каждой странице с течением времени, и эти сигналы могут влиять на индексацию страницы, в том числе, они удаляют страницу из индекса или забывают о ней.
При этом страница в целом существует на сайте.

Но какие типы сигналов собирает Google?

3 скрытых требования к индексации, о которых не сообщит официальная документация Google:

1. Требования к качеству

Google изначально будет индексировать практически все (особенно от крупных брендов). Но он не оценивает качество контента сразу.

Пример: Мы видели сайты недвижимости с объявлениями на 100 000 страниц, и только 30% из них оставались проиндексированными через 6 месяцев (+/- 190 дней). Что с остальными? Они были удалены из-за низкого качества контента по сравнению с конкурентами.

Если достаточное количество контента у вашего домена не проходит данную проверку, робот Googlebot пытается полностью останавливать их сканирование.

2. Требования к полномочиям

Исследование Министерства юстиции показало, что Google по-прежнему использует Nearest Seed PageRank.

Без надежных обратных ссылок и внутренней ссылочной архитектуры ваши страницы не выдержат долгосрочной индексации.

Крупным брендам может сойти с рук некачественный контент из-за авторитета. А что с небольшими сайтами? Им нужны как качество, так и авторитет, чтобы оставаться в индексе.

3. Требования к взаимодействию

Google отслеживает журналы сессий пользователей за 13 месяцев (клики, показы, запросы) в NavBoost. Исследование Министерства юстиции подтвердило, что они используют эти данные для управления тем, какие страницы останутся в индексе.

Страницы, которые не отображаются для поисковых запросов пользователей, удаляются.

Страшно?

Google, скорее всего, объединяет все эти сигналы для принятия решения о статусе страницы. Страница может иметь достойное качество, но при этом нулевую вовлеченность. Или у нее хорошая вовлеченность, но низкий авторитет.

И когда вы терпите неудачу по нескольким направлениям, ваша страница получает вылет из поискового индекса - буквально "пинок под зад".

Что делать?

Каждые 3-6 месяцев вы должны сосредоточиться на следующих действиях:

- Проверьте, какие проиндексированные страницы были просканированы в последний раз за период 90-130 дней.
- Проведите аудит страниц, чтобы выявить слабую внутреннюю перелинковку или низкую вовлеченность пользователей.
- При публикации отдавайте предпочтение качеству, а не количеству.
- Сосредоточьтесь на создании релевантных высококачественных обратных ссылок в вашей отрасли.

Мы отследили эту закономерность на более чем 1 миллионе страниц с реальных сайтов, которые соответствуют техническим требованиям Google и пришли к выводу, что многие страницы соответствуют минимальным техническим требованиям, но в долгосрочной перспективе активно удаляются из индекса поиска Google.