В Indexing Insight заметили, что в Google состояние индекса страницы может меняться

Почему так?

Патент Google «Управление URL-адресами» (US7509315B1) объясняет, как поисковая система управляет своим индексом с помощью двух основных систем.

Этими двумя основными системами являются:

1. Мягкие и жесткие ограничения

Google управляет своим индексом с помощью двух типов ограничений:

— Мягкое ограничение (Soft Limit). Устанавливает целевое количество страниц для индексирования.
— Жесткое ограничение (Hard Limit). Действует как потолок для предотвращения чрезмерного роста индекса.

Когда Google достигает мягкого ограничения (скажем, 1 млн URL), он увеличивает порог важности страниц, что удаляет часть индексированных страниц, попадающих ниже этого порога, что влияет на сканирование и индексацию новых страниц.

2. Порог важности и приоритет обхода

Согласно данному патенту, при достижении мягкого предела:

— Индексируются только страницы с рейтингом важности ≥ текущего порога.
— По мере корректировки порога приоритет сканирования и индексирования URL меняется.
— URL с рейтингом важности намного ниже порогового значения имеют нулевой приоритет сканирования.

Данная система объясняет, почему в Google Search Console некоторые страницы переходят из состояния индексирования "Просканировано — в настоящее время не проиндексировано" в состояние "URL неизвестен Google".

Все дело в их ранге важности относительно текущего порога.

Снижение рейтинга важности с течением времени означает, что URL может переходить от:

— Просканировано — в настоящее время не проиндексировано.
— Обнаружено — в данный момент не проиндексировано.
— URL-адрес неизвестен Google.

Гэри Илш (Gary Illyes) из Google подтвердил, что поисковый индекс Google со временем может «забывать» URL-адреса на основе сигналов, и эти забытые URL-адреса будут иметь нулевой приоритет сканирования.