Какому инструменту верить?

Ваше расширение показывает, что страница заблокирована в robots.txt, а в LinkChecker.PRO нет? Я неоднократно сталкивался с тем, что некоторые расширения или сайты, которые предлагают бесплатную проверку, не всегда показывают правильный результат.

Свежий пример: расширение показывает, что профиль закрыт от сканирования в robots.txt при помощи директивы Disallow: index.php?action=profile*. Находим профиль в чекере и не видим статуса блокировки. Дело в том, что расширение не учло некорректность указанного в директиве пути. Путь в директиве должен начинаться с * или /.

Делаем запрос в Google “site:labsk.net profile” и видим большое количество проиндексированных профилей, что подтверждает некорректность проверки расширением.

Тщательно проверяйте инструменты, которыми пользуетесь вы и ваша команда. Неправильно выбранные инструменты грозят упущенными возможностями для размещения ссылок.

Ваши ссылки - наш мониторинг,
Сергей из LinkChecker.PRO