🌐 Crawlee для Python — библиотека для веб-скрапинга и автоматизации браузера

Crawlee v1.0 — открытый инструмент для веб-скрапинга и автоматизации, который позволяет разработчикам собирать данные с сайтов и управлять браузером без лишних сложностей.

Что умеет Crawlee:
➡️ Эффективное и масштабируемое сканирование сайтов
➡️ Скрейпинг данных и сохранение в удобные для машин форматы
➡️ Работа через HTTP и браузер (использует BeautifulSoup4 и Playwright под капотом)
➡️ «Человечоподобные» запросы, которые обходят защиту от ботов
➡️ Адаптивный браузерный краулер для динамических JavaScript-сайтов
➡️ Поддержка Sitemap и Robots Exclusion для этичного и быстрого сканирования
➡️ Fingerprinting: каждый запуск выглядит как реальный пользователь
➡️ Интеграция с OpenTelemetry для мониторинга и анализа производительности

📱 GitHub

🐸 Библиотека питониста

#буст