😲 Нашёл репозиторий, который умеет ходить по сайтам, собирать и структурировать данные. Ваши ИИ-агенты заживут новой жизнью

Firecrawl с 90к+ звёздами превращает отдельный сайт в читаемый текст без мусора, автоматом умеет проходить по всем подстраницам, использовать шаблоны, которые ты настроил (например, можно задать "название, цена и описание продукта"), и при этом легко запускается на своём сервере или через облако.

Забываем про хаос из html-кода с ненужными менюшками навигации, забываем про выдуманные факты. Такие вещи особенно заметны, если сайт динамичный или когда стоит защита от ботов. Какой-то один разраб смог исправить все эти мелочные ошибки и превратить любую ссылку на сайт в чистые, удобные данные, с которыми уже можно работать. Какой же кайф, на самом деле.

Из бонусов: справляется с антибот-системами, поддерживает страницы с JS, одностраничные и сайты, построенные на React. Есть бесплатный тир на 500 страниц + при желании можно развернуть на своём сервере бесплатно (но придётся настраивать всё самим).

Рекомендую 💯, если работаете с ИИ или просто хотите упростить сбор инфы.

📱 Youtube | 💬Чат | 📱 Канал