☁️ Инструмент веб-краулинга и спайдеринга

Katana — инструмент для сбора информации и конечных точек с сайтов

— Он автоматизирует процесс сканирования, обнаруживает пути, скрипты и другие ресурсы, создавая карту структуры и контента веб-приложения

Основные элементы архитектуры: 
1. Runner: компонент, который координирует процесс сканирования: инициализирует выбранный двигатель, управляет конфигурацией и выполняет операцию сканирования
2. CrawlSession: управляет каждой операцией сканирования, сохраняет контекст, очередь URL и HTTP-клиент для конкретной задачи
3. Points of extension: точки расширения, которые позволяют добавлять новые функции, например, автоматическое заполнение форм, анализ JavaScript, извлечение пользовательских полей

• Репозиторий на GitHub
• Руководство

#Tools #Crawling #Spidering #Katana 🥷 INSPECTOR