В Google Search Console появилась возможность автоматически подсвечивать правила Robots.txt, блокирующие сканирование страницы.

Если вы посмотрите на «Заблокировано в Robots.txt», нажмите на URL-адрес и на панели справа будет выделено правило Robots, которое в данный момент блокирует данный URL.

Это весьма удобно для отладки роботса в реальном времени прямо в консоли.