Пустить агента на Wildberries и Ozon (или любой другой оналайн магаз)
дисклеймер: эту штуку я использую исключительно в личных целях, перед масштабированием изучите законодательную базу*
Иногда мне надо собрать список товаров для похода, выбрать что-то по ремонту домой или просто найти самый дешевый товар
естественно, я не хочу ковыряться с этим, а хочу просто выбирать из уже отсмотренных отсеянных вариантов
тогда я делегирую своему гермесу. Вот, что он придумал, чтобы посещать с европейского сайта (почти все магазы заблокированы под впн) и обходить антибот защиты
гермес притворяется поисковым ботом гугла для которого сайты сами готовят материалы, скушав которые, условный поисковик сможет выдавать вам инфу о товарах в выдаче, короче индексирует их
вот что делает гермес подробно:
1. Ищет кандидатов через поисковые сервисы для агентов (Exa, Firecrawl и ещё пара) запросами вида site:vseinstrumenti.ru пила. Выдача слабая, но с чего начать, понятно
2. Представляется поисковым роботом Google. Магазин не пускает серверы, а поисковых роботов пускает, чтобы попасть в выдачу
3. Берёт адреса карточек из карты сайта, которую магазин выкладывает специально для роботов
4. На каждой карточке читает служебную разметку (JSON-LD): цену, наличие, рейтинг, артикул
5. Выкидывает полотна, цепи и запчасти и разводит статусы: «в корзину», «под заказ», «нет в наличии»
* — по юр.части
— цены и характеристики авторским правом не охраняются, сравнивать их для себя можно
— каталог магазина считается базой данных, поэтому промышленный парсинг может вызывать вопросы
p.s чекал делать похожее через клод код, он блокирует, ссылаясь на правила использования
Ставьте 🔥, если хотите больше прикладных сценариев личного ассистента
@iskatel_fantzer
Post #125
56

- 🔥 5
- ❤🔥 1
- ❤ 1
- 🆒 1










