Scrapy - это быстрый высокоуровневый фреймворк для веб-сканирования и веб-скрейпинга. Сканируйте веб-сайты и извлекайте структурированные данные с их страниц. Его можно использовать для: широкий спектр целей, от интеллектуального анализа данных до мониторинга и автоматизированного тестирования.

Основными возможностями Scrapy являются:

🔴 автоматическая обработка запросов и ответов с использованием асинхронности;
🔴 извлечение данных из HTML и XML документов с помощью XPath и CSS-селекторов;
🔴 эффективная обработка веб-форм и управление сессиями;
🔴 расширяемость за счёт огромного количества плагинов, упрощающих разработку и настройку веб-пауков.

Ставится командой ⚙️ pip install scrapy
Документация и примеры кода здесь

#theory // Just Python