Однажды...

Крупная компания с международной репутацией (Netflix, National Geographic, BBC, Discovery и т.д.) сделала редизайн сайта.

Команда разработчиков заархивировала исходный контент сайта на поддомене (archive[.]oldsite[.]com) для упрощения хранения и управления архивом, но не защитили поддомен паролем (htpasswd).

По идее, архивный контент не должен был индексироваться поисковыми системами, ведь ссылок на него нигде не стояло.

Однако, поисковые роботы по своей природе любопытны и иногда могут находить непредусмотренные к индексации страницы. А без надлежащих директив есть большой риск того, что заархивированные страницы могут быть не только просканированы, но и проиндексированы.

Читать далее https://vc.ru/seo/1662777-tehnicheskoe-seo-keis-fakap-pro-redizain