Белого SEO пост. Часть 4. Как загнать бота переобходить сайт

Ранее я починил 17 тысяч сдохших адресов в ИМ запчастей: редиректы, склейка дублей, карточки с контентом.

Починить мало. Пока поисковик не придёт и не переобойдёт страницы, в выдаче не изменится ничего. Сам он по 60 тысячам страниц ползёт долго.

Значит бота надо позвать. У Яндекса для этого три канала.

1. Переобход через API Вебмастера. Самый сильный сигнал. Кладёт адрес в приоритетную очередь, робот приходит за пару дней. Но квота копеечная и зависит от ИКС, у меня 850 в сутки.

2. IndexNow. Push-сигнал «страница изменилась». 10 тысяч адресов. Реальный лимит хоста скрытый, по ИКС, обычно сотни в сутки. Слать туда можно только реально изменённое, не весь каталог «на всякий». Можно потерять доверие к заявкам если спамить.

3. Sitemap с lastmod. Пассивный фон. Свежий lastmod говорит «тут поменялось, зайди». Медленно, но покрывает весь каталог даром.

Момент про 301: чтобы склеить старый адрес с новым, робот должен прийти на старый и получить редирект. Шлёшь в переобход именно старые адреса, а не цели.

Всё это я автоматизировал скриптом за вечер: токен Вебмастера, очереди адресов, крон раз в час отправляет на переиндекс порциями.

Прогнал ядро: 3859 адресов, те что имели трафик, плюс старые адреса под 301. Дальше просто смотрел выгрузки.

Что получилось

Робот пришёл в тот же день. Обход по сайту был 40-50 страниц в сутки, стал 1230.

Старые адреса. За три месяца до этого в отчёте был ровно ОДИН адрес со статусом «редирект». Робот к старым адресам просто не приходил, и вес никуда не переезжал. После переобхода их стало 216, а 203 новых адреса зашли в поиск. Вот момент, когда 301 начинает работать. До этого он лежал мёртвым грузом.

Ошибки 404. Поток исключений «страница не найдена» был под 900 в день, к 22 июля ноль. Свежих 404 на весь сайт осталось десять штук.

Индекс. Июнь закончил с сальдо минус 3611 страниц. С 9 по 17 июля ровно ноль, кровотечение встало. С 18 по 24 июля плюс 3203.

Трафик. Показы на карточках товаров за неделю 444 → 972. Артикульные запросы, тот самый канал, который выгорел, почти удвоились. Понедельник к понедельнику плюс 17%, вторник плюс 18%, среда плюс 18%. Ровный прирост по одинаковым дням недели, то есть это не выходные и не случайный всплеск.

Честно: половина прироста это не рост, а мои же страницы, вернувшиеся под правильными адресами. Кликов пока плюс 11 за неделю, на такой базе это шум. И 12% вернувшегося Яндекс уже выкинул обратно как малоценное, правда раньше выбивало 75-88% партии, теперь 16-22%.

P.S поделитесь опытом кто в теме, как недорого загнать гугл-бота на важные страницы ИМ? Платными индексаторами не вариант - будет дорого. Обход по API гугл випилил.

#белое_seo