Инструмент для определения типа файлов на основе искусственного интеллекта, использующий последние достижения в области глубокого обучения для обеспечения точного определения. В его основе лежит специальная модель, которая занимает всего несколько мегабайт и позволяет точно идентифицировать файлы за миллисекунды даже при работе на одном процессоре.
Поддерживает установку через PyPI.
pip install magika
Кроме того, можно установить инструмент через Docker-контейнер.
git clone https://github.com/google/magika
cd magika/
docker build -t magika .
docker run -it --rm -v $(pwd):/magika magika -r /magika/tests_data/basic
Основные характеристики
🌟Протестирован на наборе данных, состоящем из ~100 млн образцов и более чем 200 типов контента (включая двоичные и текстовые форматы файлов), в среднем показывает 99 % точность;
🌟Доступен в виде инструмента командной строки, написанного на Rust, с API на Python и дополнительными привязками для Rust, JavaScript/TypeScript;
🌟Поддерживает запуск для одновременной обработки даже тысяч файлов. Также можно использовать флаг -r для рекурсивного сканирования каталога;
🌟Практически постоянное время обработки, независимо от размера файла;
🌟Использование пороговой системы для каждого типа контента, которая определяет, стоит ли «доверять» прогнозу модели или лучше вернуть общую метку, например «Обычный текстовый документ» или «Неизвестные двоичные данные»;
🌟Допуск на ошибки можно регулировать с помощью различных режимов прогнозирования, таких как high-confidence, medium-confidence и best-guess.
Использовать инструмент можно для определения типа конкретного файла, либо для всех файлов в директории или рекурсивного сканирования файлов, затем по желанию можно указать дополнительные опции представленные ниже.
magika [file/*] [options]
🚩Флаги
-r, --recursive - определение типа файлов в каталогах;
--no-dereference - определение символических ссылок, а не их содержимого, при переходе по ним;
--colors/--no-colors - вывод с/без использования цветов независимо от поддержки терминала;
-s, --output-score - вывод оценки точности прогноза в дополнение к определению типа файлов;
-i, --mime-type - вывод MIME-типа вместо описания определения типа файла;
-l, --label - вывод простой метки вместо описания определения типа файла;
--json, --jsonl - вывод в формате JSON, JSONL.