Gospider — это быстрый веб-краулер, способный создавать подробную карту веб-сайта. Он просматривает файлы sitemap.xml и robots.txt , находит ссылки, скрытые в файлах JavaScript, и может получать URL-адреса из Wayback Machine, Common Crawl, VirusTotal и AlienVault OTX.
https://github.com/jaeles-project/gospider
📱 Telegram | 🌐 ВК | 📲 MAX
📲 RUTUBE | 🌍 VK Видео
Post #9965
457

- ❤ 2