یک ریپوی متن‌باز که فرآیند Crawl کردن وب را برای پروژه‌های مبتنی بر LLM ساده‌تر می‌کند
به‌جای اینکه فقط HTML خام صفحات را استخراج کند، محتوای وب را به داده‌ای تمیز و ساختاریافته تبدیل می‌کند که مستقیماً در RAG و AI Agentها قابل استفاده است

https://github.com/unclecode/crawl4ai

@DevTwitter | <Davinchi/>