Update сервиса: добавлена функция проверки robots.txt

Если вы строите ссылки:

- с профилей на форумах и других сайтах
- с директорий и каталогов сайтов
- и даже размещаете статьи через аутрич

Помните, что ваши страницы-доноры могут быть заблокированы для сканирования правилом Disallow в robots.txt, что может сказаться на их индексации.

Не проверяя, что прописано в robots.txt, вы можете построить несколько десятков подобных ссылок прежде, чем будет заметно снижение процента проиндексированных страниц и вы начнете искать причину этого.

Да, файл robots.txt не предназначен для запрета индексации и, если на эти страницы ведут ссылки с других сайтов, Googlebot может добавить их в индекс.

Но если вы не планируете строить Tier-2 ссылки на эти страницы, то лучше не использовать такие страницы и разделы для линкбилдинга в целом.

С сегодняшнего дня в сервисе добавлена функция проверки robots.txt для каждой ссылки.

Как следствие, вы довольно быстро сможете увидеть заблокированные для сканирования страницы-доноры и принять правильное для вас решение.

С уважением, Сергей
Из LinkChecker.PRO