Ресерч Product Hunt через OpenClaw + browser-use

Разберем, как можно собрать нормальный ресерч по любому сайту (почти).

Использовал:
- browser-use
- Chromium
- Xvfb
- CDP

Как это работает:
1. На сервере запускается обычный Chromium
2. OpenClaw подключает агента к браузеру через browser-use
3. Агент сам ходит по страницам Product Hunt, нажимает на кнопки
4. Сначала собирает список продуктов за день
5. Потом заходит в каждую карточку и достает описание, ссылки, комментарии, лайки и другие данные по проекту
6. Все это сохраняется в JSON, а дальше чистится в удобный отчет

Почему такой стек:
Если пытаться работать через обычные HTTP-запросы или headless, то очень быстро начинаются проблемы с Cloudflare и нестабильной выдачей.
А когда агент работает через реальный браузер, все проходит заметно стабильнее и сработало даже без прокси.

По факту это уже не только история про Product Hunt.
Таким способом можно делать веб-ресерч и на других сайтах, где классический парсинг либо ломается, либо тащит слишком много мусора.

Чат | Канал