WaterCrawl

#ai #OSINT #полезное

Инструмент для веб-краулинга, скрапинга и превращения веб-контента в данные, готовые для LLM. Он предлагает гибкую настройку глубины и скорости обхода сайтов, встроенный поисковый движок с несколькими уровнями глубины поиска, поддержку множества языков и геотаргетинг. Благодаря асинхронной обработке можно наблюдать за прогрессом в реальном времени, а REST API упрощает интеграцию в любые пайплайны. Легко встраивается в автоматизационные платформы — Dify, N8N. Разворачивается локально, обеспечивая полную приватность данных. Идеальный выбор для тех, кто строит серьёзные системы на основе веб-данных.

Ссылка на GitHub

LH | News | OSINT | AI