⚡️ Qcrawl - простой и быстрый веб-краулер

Qcrawl - это open-source проект краулера, написанный на Python, предназначенный для эффективного сбора страниц из интернета и обработки ссылок.

Это:
• легковесный веб-краулер
• ориентирован на масштабируемость и простоту

Основные возможности
• параллельная загрузка страниц
• polite crawling (учёт robots.txt, ограничения на частоту запросов)
• управление глубиной обхода
• обработка и нормализация ссылок
• гибкая архитектура для кастомных обработчиков контента

• подходит для задач сбора данных из веба
• хорошая база для собственных crawler-ботов
• легко адаптируется под свои сценарии (парсинг, индексация, анализ)

Репозиторий содержит примеры запуска, конфигурации глубины и очередей, а также модули для безопасной загрузки страниц.

Если вам нужен краулер без лишнего «тяжелого» функционала, Qcrawl может стать отличной отправной точкой.

GitHub: github.com/crawlcore/qcrawl