Сохрани, если работаешь с парсингом, RAG, LLM-пайплайнами или автоматизацией браузера.
Важно: использовать такие инструменты стоит только там, где у вас есть право собирать данные, с учётом ToS, robots.txt и лимитов сайта.
1. Firecrawl
Превращает сайт в чистый Markdown или JSON, удобный для LLM и RAG.
https://github.com/firecrawl/firecrawl
2. Crawl4AI
Краулер, который делает страницы LLM-ready без лишней настройки.
https://github.com/unclecode/crawl4ai
3. Browser Use
AI-агент, который управляет браузером: клики, формы, навигация, сбор данных через UI.
https://github.com/browser-use/browser-use
4. Crawlee
Production-фреймворк для краулинга: очереди, ретраи, браузерная автоматизация, хранение результатов.
https://github.com/apify/crawlee
5. Scrapy
Классика Python-скрейпинга. Подходит для больших краулеров и стабильных data pipelines.
https://github.com/scrapy/scrapy
6. MarkItDown
Инструмент Microsoft для конвертации PDF, Office, HTML и других форматов в Markdown.
https://github.com/microsoft/markitdown
7. Scrapling
Фреймворк для более устойчивого парсинга страниц, которые часто меняют структуру.
https://github.com/D4Vinci/Scrapling
8. scrcpy
Управление Android-устройством с компьютера. Полезно для тестирования и автоматизации mobile-only сценариев.
https://github.com/Genymobile/scrcpy
9. AutoScraper
Показываете пример нужных данных, а он сам пытается найти похожие элементы на странице.
https://github.com/alirezamika/autoscraper
10. curl-impersonate
Версия curl, которая имитирует сетевой профиль популярных браузеров. Полезно для тестов и совместимости.
https://github.com/lwthiker/curl-impersonate
Современный scraping давно перерос
requests + BeautifulSoup.Теперь это целая инфраструктура: браузерные агенты, Markdown для LLM, очереди, мобильная автоматизация и пайплайны для подготовки данных под AI.