Инструмент командной строки, предназначенный для сбора URL-адресов из OSINT-архивов, таких как Wayback Machine и Common Crawl. Написан на языке Rust для повышения эффективности, использует асинхронную обработку для быстрого запроса нескольких источников данных. Упрощает процесс сбора информации о URL-адресах для заданного домена, предоставляя полный набор данных, который можно использовать для различных целей, включая различного рода тестирования безопасности.
Характеристики
🌟Параллельная выборка URL-адресов из нескольких источников (Wayback Machine, Common Crawl, OTX);
🌟Возможность фильтровать результаты по расширениям файлов, шаблонам или предустановленным параметрам;
🌟Поддержка нескольких форматов вывода: обычный текст, JSON, CSV, вывод результатов на консоль или в файл, либо возможность передачи их через стандартный ввод для интеграции в конвейерную обработку;
🌟Фильтрация и проверка URL-адреса на основе кодов состояния и HTTP-шаблонов;
🌟Возможность извлечения дополнительных ссылок из собранных URL-адресов;
🌟Хорошо работает в связке с другими инструментами для разведки.
🚘 Установка
git clone https://github.com/hahwul/urx.git
cd urx
cargo build --release
После компиляции инструмент будет доступен по пути target/release/
👩💻Примеры использования
Вывод в формате JSON
./urx example.com -f json -o results.json
Фильтрация на основе кода состояния HTTP
./urx example.com --include-status 200,30x,405 --exclude-status 20x
Извлечение дополнительных ссылок из собранных URL-адресов
./urx example.com --extract-links
Исключение URL-адресов из карты сайта
./urx example.com --exclude-sitemap
Использование провайдеров VirusTotal и URLScan
./urx example.com --providers=vt,urlscan --vt-api-key=*** --urlscan-api-key=***
Исключение определенных шаблонов
./urx example.com --exclude-patterns static,images