Сегодня поговорим про великий и ужасный РЕСЁРЧ. Когда речь заходит про добычу данных из интернета при помощи AI скорее всего вам приходят в голову такие инструменты как web search/deep research у обычных LLM, всеми любимый Perplexity... Для ежедневного использования и быстрого погружения в тему - самое то.
Но что если мы хотим, чтобы наш агент исследовал тысячи источников, собирал огромные датасеты и делал нам по ним аналитику за несколько минут и бесплатно? "Да ты гонишь" - скажите вы, "Apify" - отвечу вам я.
Тысячи постов инфлов из CT, обсуждения на реддите, тысячи видосов с ютуба и это ДАЛЕКО не всё, что может достать данный сервис из интернета и моментально доставить в твоего ИИ-агента.
ЧТО ТАКОЕ APIFY
Apify - это маркетплейс скриптов, которые собирают данные из интернет-источников по определённым фильтрам в датасеты. Этими источниками могут быть социальный сети, карты, маркетплейсы и тд. Данные же, которые скрипт собирает с сайтов, могут быть тоже любыми: посты в X, followers/following в X, отзывы с карт, рекламные креативы из инстаграма, профили в linkedin и тд.
То есть, как вы понимаете, собрать можно любую инфу.
КАК ЕГО УСТАНОВИТЬ?
Кидаем своему агенту эту ссылку и просто просим его установить mcp апифай)
КАК ЕГО ИСПОЛЬЗОВАТЬ?
ВАЖНОЕ ПРЕДИСЛОВИЕ: сервис предоставляет нам на бесплатной основе $5, которые обновляются каждый месяц. Минимальная подписка начинается от $35 в месяц. НО для ресёрча вам не нужно будет парсить 100000 постов из твитера - это будет бесполезная трата лимитов. $5 - за глаза с учётом расценок по типу $0.25/1000 результатов
1) Выбираем АКТОР (скрипт, который будет исполнять наш запрос):
Напрямую просим нашего агента "бро подбери мне актора под такие-то условия под такие-то цели" - благодаря MCP, ваш агент имеет прямой доступ к библиотеке скриптов сервиса и он выберет реально самый лучший
ВАЖНО: при выборе, учитывайте сколько вы платите за 1000 результатов. Также скажите своей ИИшке, что вы находитесь на бесплатном тарифе - иногда владельцы скриптов наглеют и ставят расценки по типу: FREE PLAN - $40/1000res; STARTER PLAN - $0.04/1000res🤡
Вот самый дешёвый скрипт для парсинга X, что я нашёл
2) Описываем цель и критерии парсинга нашему агенту:
Не ограничивайте себя ничем, креативьте!
Для примера, перед описанием задайте себе вопросы по типу: "хотим мы чтобы скрипт парсил инфу по указанной пачке инфлов или нашёл альфа инфлов перед парсингом? А может парсить только те твиты, где >50 репостов? А может ИИ сам сформулирует критерии отбора?" - и тп
ВАЖНО: не забудьте в промпте указать, чтобы агент после парсинга вам сделал аналитический отчёт
3) Закидываем датасет в NotebookLM
Да, вы итак получаете аналитический отчёт от своего агента, но если вы хотите копнуть глубже, то: заходите на сайт apify -> личный кабинет -> раздел Runs -> тыкаете нужную сессию -> export в формат .xml -> конвертируете в .pdf здесь -> фигачите в ваш NotebookLM
ВАЖНО: учитывайте ограничения ноутбуклм по токенам, у меня максимум загружался pdf на 1000+ страниц с парсингом твитов из X
МОЙ ЛИЧНЫЙ КЕЙС
Буквально сегодня сделал ресёрч 2000 постов из X: попросил спарсить все посты некоторых чуваков из моих подписок за период февраль - март (ники челов, которых хочу исследовать, вбивал ручкам). БЭМ у меня огромный детальный отчёт в формате .md с инсайтами.
Если сделаем 30+ репостов, то я дропну в коммы данный отчёт в виде пдфки :)
Пользуйтесь, братва. По всем вопросам обращайтесь в комментарии!
