Пятничное

Возможно, вы недавно видели дискуссию о веб-сайте Джона Мюллера и robots.txt.

Ссылка: https://johnmu.com/robots.txt

Файл Robots.txt сообщает поисковым системам, какие части сайта следует индексировать.
Однако, в robots.txt Джона Мюллера есть необычная команда "noindex:".
Эта команда не является частью стандартного формата robots.txt.
Поэтому у Джона Мюллера спросили, что это за директива и окажет ли это какое-либо влияние на то, как поисковая система индексирует страницы его сайта.

Ответ:
- Я рад, что вы спросили и Вы правы в том, что директива "noindex:" необычна для Robots.txt. Это неподдерживаемая директива, она ничего не делает.
- Однако! Было много дискуссий о том, следует ли поддерживать "noindex" в рамках стандарта robots.txt. Идея заключалась в том, что было бы неплохо блокировать сканирование и индексирование одновременно. С помощью robots.txt вы можете заблокировать сканирование или индексацию (с помощью мета-тега robots, если вы разрешаете сканирование). Идея заключалась в том, что вы можете иметь "noindex" в robots.txt и блокировать оба. К сожалению, из-за того, что многие люди копируют и вставляют robots.txt файлы, не просматривая их в деталях (мало кто заглядывает так далеко, как вы!), кому-то будет очень, очень легко случайно удалить критически важные части веб-сайта.
- В связи с этим, более 10 лет назад, было решено, что эта директива не должна поддерживаться или быть частью robots.txt стандарта.

ПС. Также, в файле присутствует правило: disallow: /robots.txt

Однако, это скорее шутка, так как robots.txt запретить нельзя 🤣