Веб-скрейпинг через LLM и граф-логику

🔹 ScrapeGraphAI/Scrapegraph-ai
⭐ 28808 звёзд · Python

Python-библиотека строит конвейеры извлечения данных из сайтов и локальных файлов (XML, HTML, JSON, Markdown) через LLM и граф-логику. Работает с локальными моделями через Ollama и с API OpenAI, Groq, Azure, Gemini.

Внутри несколько типов графов под задачи: SmartScraperGraph для одной страницы, SearchGraph для топ-N результатов поиска, ScriptCreatorGraph генерирует готовый Python-скрипт, SpeechGraph добавляет аудио. Есть multi-варианты с параллельными вызовами LLM и интеграции с Langchain, Llama Index, Crew.ai, Agno, CamelAI.

Для загрузки контента нужен Playwright (`playwright install`). Собирает анонимную телеметрию — отключается через SCRAPEGRAPHAI_TELEMETRY_ENABLED=false. Лицензия MIT.

репозиторий

Полезная Репа 🕷️