🕷 Топ GitHub-репозиториев для web scraping

Подборка инструментов для crawling, scraping и обхода антибот-защиты.

🈶 Crawl4AI — AI-first crawler для LLM pipeline
🈶 Firecrawl — превращает сайты в clean markdown/JSON для AI
🈶 Scrapy — классика scraping на Python
🈶 Crawlee — мощный crawler от Apify
🈶 Playwright — автоматизация браузера и anti-bot обходы
🈶 Scrapegraph AI — scraping через AI-граф обработки данных
🈶 Browser Use — автоматизация браузера с помощью ИИ
🈶 Katana — сверхбыстрый краулер от ProjectDiscovery
🈶 Maxun — nno-code инструмент для извлечения данных с сайтов

Полезно для:

— OSINT
— bug bounty
— recon
— AI-agents
— массового сбора данных
— automation pipeline

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#resource_drop