CreepyCrawler

Инструмент для сканирования сайта на предмет полезной информации. Достаточно просто указать начальный url адрес и краулер начнет искать основываясь на hrefs, robots.txt и карте сайта следующее:
- Электронная почта
- Ссылки на социальные сети
- Суб домены
- Файлы
- Список просканированных ссылок сайта
- HTML-комментарии
- IP-адреса
- Маркетинговые теги (UA,GTM и т. д.)