▪Укажите начальный URL-адрес и автоматически соберите URL-адреса для сканирования через href, robots.txt и карту сайта
▪Извлеките полезную информацию для поиска:
- Электронные письма
- Ссылки в социальных сетях
- Поддомены
- Файлы
- Список просмотренных ссылок на сайты
- Rомментарии
- IP-адреса
▪Маркетинговые теги (UA, GTM и т.д.)
▪"Интересные" находки, такие как контент frame ancestors и ресурсы, возвращающие содержимое в формате JSON
▪ Внутри встроенный FireProx для автоматического создания эндпоинтов для каждого поддомена, смены исходного IP-адреса и очистки в конце
▪Поддержка HTTP/SOCKS прокси
git clone https://github.com/chm0dx/creepyCrawler.git
cd creepyCrawler
pip install -r requirements.txt
• Github
@linuxkalii