Пустить агента на Wildberries и Ozon (или любой другой оналайн магаз)

дисклеймер: эту штуку я использую исключительно в личных целях, перед масштабированием изучите законодательную базу*

Иногда мне надо собрать список товаров для похода, выбрать что-то по ремонту домой или просто найти самый дешевый товар

естественно, я не хочу ковыряться с этим, а хочу просто выбирать из уже отсмотренных отсеянных вариантов

тогда я делегирую своему гермесу. Вот, что он придумал, чтобы посещать с европейского сайта (почти все магазы заблокированы под впн) и обходить антибот защиты

гермес притворяется поисковым ботом гугла для которого сайты сами готовят материалы, скушав которые, условный поисковик сможет выдавать вам инфу о товарах в выдаче, короче индексирует их


вот что делает гермес подробно:
1. Ищет кандидатов через поисковые сервисы для агентов (Exa, Firecrawl и ещё пара) запросами вида site:vseinstrumenti.ru пила. Выдача слабая, но с чего начать, понятно
2. Представляется поисковым роботом Google. Магазин не пускает серверы, а поисковых роботов пускает, чтобы попасть в выдачу
3. Берёт адреса карточек из карты сайта, которую магазин выкладывает специально для роботов
4. На каждой карточке читает служебную разметку (JSON-LD): цену, наличие, рейтинг, артикул
5. Выкидывает полотна, цепи и запчасти и разводит статусы: «в корзину», «под заказ», «нет в наличии»


* — по юр.части

— цены и характеристики авторским правом не охраняются, сравнивать их для себя можно
— каталог магазина считается базой данных, поэтому промышленный парсинг может вызывать вопросы

p.s чекал делать похожее через клод код, он блокирует, ссылаясь на правила использования

Ставьте 🔥, если хотите больше прикладных сценариев личного ассистента

@iskatel_fantzer