Эти open-source проекты возьмут на себя браузеры, очереди, прокси, повторные попытки и подготовку данных для ИИ:
1. Crawlee — полноценный набор для создания масштабируемых краулеров на JavaScript и TypeScript.
→ https://github.com/apify/crawlee
2. Scrapy — быстрый Python-фреймворк для сбора структурированных данных с тысяч страниц.
→ https://github.com/scrapy/scrapy
3. Playwright — управляет настоящими браузерами и помогает работать с сайтами, перегруженными JavaScript.
→ https://github.com/microsoft/playwright
4. Parsel — извлекает данные из HTML и XML через CSS-селекторы и XPath.
→ https://github.com/scrapy/parsel
5. Firecrawl — превращает сайты в чистый Markdown и JSON для ИИ-агентов и RAG-систем.
→ https://github.com/firecrawl/firecrawl
6. Crawl4AI — open-source краулер, который подготавливает веб-контент для языковых моделей.
→ https://github.com/unclecode/crawl4ai
7. ScrapeGraphAI — позволяет описать нужные данные обычным языком и поручить извлечение искусственному интеллекту.
→ https://github.com/ScrapeGraphAI/Scrapegraph-ai
8. Colly — лёгкий и быстрый фреймворк для веб-скрапинга на Go.
→ https://github.com/gocolly/colly
9. Trafilatura — вытаскивает основной текст и метаданные, убирая меню, рекламу и другой мусор.
→ https://github.com/adbar/trafilatura
10. Newspaper4k — автоматически извлекает текст статьи, заголовок, автора и метаданные из новостных страниц.
→ https://github.com/AndyTheFactory/newspaper4k
Сохраняйте подборку за реакцию ❤️
@edprogramming