🖥 10 GitHub-репозиториев для Парсинга

Сохрани, если работаешь с парсингом, RAG, LLM-пайплайнами или автоматизацией браузера.

Важно: использовать такие инструменты стоит только там, где у вас есть право собирать данные, с учётом ToS, robots.txt и лимитов сайта.

1. Firecrawl
Превращает сайт в чистый Markdown или JSON, удобный для LLM и RAG.

https://github.com/firecrawl/firecrawl

2. Crawl4AI
Краулер, который делает страницы LLM-ready без лишней настройки.

https://github.com/unclecode/crawl4ai

3. Browser Use
AI-агент, который управляет браузером: клики, формы, навигация, сбор данных через UI.

https://github.com/browser-use/browser-use

4. Crawlee
Production-фреймворк для краулинга: очереди, ретраи, браузерная автоматизация, хранение результатов.

https://github.com/apify/crawlee

5. Scrapy
Классика Python-скрейпинга. Подходит для больших краулеров и стабильных data pipelines.

https://github.com/scrapy/scrapy

6. MarkItDown
Инструмент Microsoft для конвертации PDF, Office, HTML и других форматов в Markdown.

https://github.com/microsoft/markitdown

7. Scrapling
Фреймворк для более устойчивого парсинга страниц, которые часто меняют структуру.

https://github.com/D4Vinci/Scrapling

8. scrcpy
Управление Android-устройством с компьютера. Полезно для тестирования и автоматизации mobile-only сценариев.

https://github.com/Genymobile/scrcpy

9. AutoScraper
Показываете пример нужных данных, а он сам пытается найти похожие элементы на странице.

https://github.com/alirezamika/autoscraper

10. curl-impersonate
Версия curl, которая имитирует сетевой профиль популярных браузеров. Полезно для тестов и совместимости.

https://github.com/lwthiker/curl-impersonate

Современный scraping давно перерос requests + BeautifulSoup.

Теперь это целая инфраструктура: браузерные агенты, Markdown для LLM, очереди, мобильная автоматизация и пайплайны для подготовки данных под AI.

@Python_Community_ru