Современный, высокопроизводительный веб-краулер и парсер, написанный на Go. Для успешной установки katana требуется Go 1.21+. Установить можно следующей командой:
CGO_ENABLED=1 go install github.com/projectdiscovery/katana/cmd/katana@latest
🏋️♀️ Поддерживает 2 режима работы:
Стандартный режим сканирования использует стандартную библиотеку go http для обработки HTTP-запросов и ответов. Этот режим намного быстрее, так как не требует дополнительных ресурсов браузера. Однако он анализирует только "сырое" тело ответа — без выполнения JavaScript и без рендеринга DOM. Из-за этого он может пропустить URL или точки входа, которые появляются только после загрузки страницы в браузере или в результате асинхронных запросов.
Headless режим перехватывает внутренние вызовы для обработки HTTP-запросов/ответов непосредственно в контексте браузера. Это даёт два преимущества:
⏺️Fingerprint клиента (TLS, User-Agent) полностью идентифицирует его как настоящий браузер.
⏺️Лучшее покрытие, поскольку эндпоинты обнаруживаются при анализе стандартного необработанного ответа, как и в предыдущем случае, а также при анализе ответа, отображаемого браузером с включенным JavaScript.
Headless сканирование не является обязательным и может быть включено с помощью -headless опции.
🕷 Использование
katana требует url или эндпоинт для сканирования и принимает один или несколько входных параметров. URL-адрес для ввода можно указать с помощью опции -u, а несколько значений можно указать через запятую. Аналогичным образом поддерживается ввод через файл с помощью опции -list, а также ввод через stdin.
При использовании режима headless могут понадобится следующие флаги:
-no-sandbox - полезен при запуске от имени пользователя root.
-no-incognito - полезен при использовании локального браузера.
Контроль области сканирования
-field-scope - самый удобный способ задать область видимости с помощью заранее заданного имени поля.
⏺️rdn — сканирование корневого домена и всех поддоменов (например, *example.com) (по умолчанию)
⏺️fqdn - сканирование в пределах заданного поддомена (например, www.example.com или api.example.com)
⏺️dn — сканирование по ключевому слову в доменном имени.
katana -u https://tesla.com -fs dn
-crawl-scope - расширенное управление областью видимости с поддержкой regex.
katana -u https://tesla.com -cs login
-crawl-out-scope - определение целей, которые не нужно сканировать. Также с поддержкой regex.
Обход аутентификации
Включение пользовательских заголовков или файлов cookie в HTTP-запросы для доступа к защищенным ресурсам. Эти заголовки содержат информацию об аутентификации или авторизации, что позволяет сканировать защищенный контент/эндпоинты.
katana -u https://tesla.com -H 'Cookie: usrsess=AmljNrESo'
Управление сканированием
Возможность указать глубину для отслеживания URL-адресов при сканировании.
katana -u https://tesla.com -d 5
Возможность включить анализ файлов JavaScript и сканирование эндпоинтов, обнаруженных в файлах JavaScript, по умолчанию отключена.
katana -u https://tesla.com -jc
Возможность включить автоматическое заполнение формы для известных/неизвестных полей. Значения известных полей можно настроить по своему усмотрению, обновив файл конфигурации формы по адресу $HOME/.config/katana/form-config.yaml.
katana -u https://tesla.com -aff