Scrapy — это фреймворк с открытым исходным кодом, позволяющий быстрым и простым способом собирать данные с необходимых сайтов.
Установка:
pip install scrapy
Первым делом необходимо создать наследника от scrapy.Spider. В нём вы задаёте ссылки и реализуете метод parse, который обрабатывает результаты запроса. Запускать скрипт необходимо с помощью
scrapy runspider srappy_file.py, в результате чего вы получите огромный вывод работы фреймворка.Что бы избавится от логов, можете перенаправить их в файл --
logfile=log_file_name.txt или --nolog для полного их отключения (не рекомендуется). А чтобы отделить логи от данных парсинга, добавьте в опции -o output_file.json.#миниурок #scrapy