Обновлена проверка правил robots.txt

Повышение качества проверки ссылок и ссылающихся страниц остается нашим главным приоритетом. В этот раз мы обновили интерпретацию спецификации robots.txt для проверки блокировки сканирования страницы поисковыми роботами.

Были доработаны и исправлены:

- Интерпретация директивы allow
- Порядок применения правил в файле robots.txt

Наша команда всегда открыта к обратной связи. Пишите в чат поддержки или на почту info@linkchecker.pro, если видите зоны роста для нашего инструмента. Мы обязательно обработаем ваш фидбек и вы поможете сделать чекер еще лучше.

Ваши ссылки - наш мониторинг,
Сергей из LinkChecker.PRO