"Прикольный кейс" у Игоря Рудника на FB

Какие-то уникальные люди, делали PBN сетку и закрывали страницы сайтов от Google бота с помощью robots.txt.

Таким образом, они хотели скрыть ПБН от индексации.

Но таким образом, они просто выключили передачу веса по ссылкам с PBN на Money сайт.

Запрет Robots.txt - ЗАПРЕЩАЕТ СКАНИРОВАНИЕ, А НЕ ИНДЕКСИРОВАНИЕ!

Google чаще узнает о странице больше из текстового окружения ссылки на страницу или анкора, чем от текста на самой странице куда ведет ссылка.

Поэтому, ему запрет в robots.txt не мешает ее добавить в индекс.

Но, что точно ему мешает так это переходить по ссылкам со страниц, у которых стоит запрет на сканирование в robots.txt.

Он не знает, с этой страницы стоят ссылки и вес, соответственно, не передает.

А так как это PBN, скорее всего из дроп доменов, на которые ведутся уже ссылки, он знает что там было, добавит в индекс, натыкается на robots.txt и останавливается, грубо говоря. Размещайте хоть сотню ссылок