Файл robots.txt, находящийся в корневом каталоге любого веб-сервера, содержит специальные инструкции для поисковых машин. Исследуя этот файл, хакер может также получить дополнительную информацию. Например, рассмотрим содержимое этого файла robots.txt
robots.txt
User-agent: *
Dissallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Казалось бы, здесь ничего полезного нет. Данные инструкции запрещают поисковым ботам индексировать содержимое папки wp-admin, исключение только для файла admin-ajax.php.
Как минимум, мы теперь понимаем что на сервере используется CMS WordPress, что видно по названию папки wp-admin - это папка с панелью управления WordPress. 👩💻
Даже не нужно исследовать страницу, можно просто посмотреть этот файл.