این مخزن GitHub به شما امکان می دهد صفحات وب را به راحتی scrape کنید  و خروجی را در قالب های -LLM-friendly  داشته باشید (JSON، cleaned HTML، Markdown).

ویژگی ها :
• Supports crawling multiple URLs simultaneously
• Extracts and returns all media tags (Images, Audio, and Video)
• Extracts all external and internal links
• Extracts metadata from the page
• Custom hooks for authentication, headers, and page modifications before crawling

https://github.com/unclecode/crawl4ai


🆔 @programmers_street