🕵️‍♀️ MetaDetective — инструмент для извлечения и анализа метаданных из файлов и веб-сайтов. Вдохновляясь такими базовыми инструментами, как Metagoofil, MetaDetective представляет собой обновлённую и улучшенную версию. Помимо простого извлечения данных, инструмент может тщательно классифицировать и отображать метаданные.

MetaDetective выполняет прямой веб-скрапинг целевых сайтов, извлекая метаданные из HTML-страниц. Имеет бесшовную интеграцию с Metagoofil.

🐍 Установка

git clone https://github.com/franckferman/MetaDetective.git
cd MetaDetective
python3 -m venv MetaDetectiveEnv
source MetaDetectiveEnv/bin/activate
pip install MetaDetective

Для корректной работы также понадобится Python 3 и Exiftool.

🎮 Использование
Анализ всех метаданных файлов в каталоге examples с экспортом результатов в HTML формате:

python3 src/MetaDetective/MetaDetective.py -d examples/ --export

Для анализа одного файла можно использовать опцию -f.

Анализ только PDF-файлов без загрузки:

python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com/ --extensions pdf

Загрузка файлов с заданной глубиной 2:

python3 src/MetaDetective/MetaDetective.py --scraping --depth 2 --download-dir ~ --url https://example.com/

Дополнительные флаги:
--rate для управления максимальным количеством запросов в секунду;
--threads для указания количества потоков для параллельных операций;
--follow-extern для отслеживания внешних ссылок (тех, которые находятся за пределами базового URL).