reader

Хочешь кормить AI-агентов свежими данными с веба, а писать и поддерживать краулеры уже достало?
Puppeteer настроил, Cloudflare уперся, прокси опять отвалились — знакомо.

Нашел Reader — опенсорсный, production-ready веб-скрейпинг движок, заточенный под LLM. Он закрывает сразу две больные темы: сбор и очистку данных.

Что умеет:

- автоматически обходить антибот-защиту
- превращать сложные страницы сразу в чистый Markdown
- маскировать браузерный fingerprint
- ретраить запросы и стабильно работать даже с “тяжелыми” сайтами

Есть CLI и API, внутри Ulixee Hero, поддерживает Docker, запускается из коробки.

Если делаешь AI-приложение с доступом к интернету или просто устал чинить краулеры — сильно экономит время.

📁 Language: #TypeScript 92.8%

⭐️ Stars: 245

➡️ Cсылка на GitHub

📱 @git_developer