Crawly

Crawly — это фреймворк для приложений на Elixir, предназначенный для создания краулеров (spiders), которые обходят веб-сайты и извлекают структурированные данные.

Поддерживает сбор данных (data mining), обработку информации и историческое архивирование.
Работает с Elixir ~> 1.14 на Linux, Windows, macOS и BSD.

Включает middleware для фильтрации по доменам, предотвращения повторных запросов и ротации User-Agent.
Предоставляет пайплайны для валидации, дедупликации, кодирования в JSON и записи в файлы.

📁 Language: #Elixir 95.3%

⭐️ Stars: 1.1k

➡️ Cсылка на GitHub

📱 @git_developer