Scrapy - это быстрый высокоуровневый фреймворк для веб-сканирования и веб-скрейпинга.

Сканируйте веб-сайты и извлекайте структурированные данные с их страниц. Его можно использовать для: широкий спектр целей, от интеллектуального анализа данных до мониторинга и автоматизированного тестирования.

Основными возможностями Scrapy являются:
— автоматическая обработка запросов и ответов с использованием асинхронности;
— извлечение данных из HTML и XML документов с помощью XPath и CSS-селекторов;
— эффективная обработка веб-форм и управление сессиями;
— расширяемость за счёт огромного количества плагинов, упрощающих разработку и настройку веб-пауков.

Разъяснивший Python