🔧 Crawly — фреймворк для веб-краулінгу на Elixir

Інструмент для побудови краулерів, що обходять вебсайти та витягують структуровані дані. Підходить для data mining, обробки інформації та архівування.

Ключові можливості:
• Middleware для фільтрації доменів, запобігання дублюванню запитів і ротації User-Agent
• Пайплайни для валідації, дедуплікації та кодування в JSON
• Запис результатів у файли з підтримкою гнучкого налаштування

⚡️ Технології: Elixir 1.14+
🛠 Платформи: Linux, Windows, macOS, BSD

Переглянути репозиторій

Підписатися • GitHub 🇺🇦

#opensource #web #tools #automation #docker