Crawl4AI – open-source краулер от UncleCode, который берёт любую страницу и возвращает её в чистом Markdown, удобном для подачи в нейросеть, RAG-систему или ИИ-агента

Убирает меню, футеры и рекламный мусор, сохраняет структуру: заголовки, таблицы, код и ссылки и на выходе текст, который LLM понимает без дополнительной чистки

— Поддерживает JavaScript-сайты через Playwright, параллельный обход, извлечение структурированных данных по схеме и работу с локальными LLM, а ставится одной командой pip

Языки: Python (98.8%), Other (1.2%).

⭐️ Star 85k

https://github.com/unclecode/crawl4ai

⚡️ @becaps // max.ru/becaps