Это был вводно-обзорный пост, а теперь поговорим как с этим жить.

На самом деле, часто защиту от парсинга перепоручают специализированным сервисам (Cloudflare, Akamai bot manager), которые делают много черновой работы сами, в том числе javascript challenge (что-то тыкнуть на странице, поводить мышкой и тд). Это отсекает кучу парсеров в виде просто скриптов.

🦾 Поэтому если мы хотим сделать что-то серьёзное, нужно изначально работать в browser-like стиле. Самый популярный набор библиотек — это Selenium и Playwright. Браузер можно обернуть в xvfb (виртуальный GUI) и получить полнофункциональный графический браузер, потому что headless-режим иногда даёт свои микро-нюансы.

👣 Затем нам нужно «набить историю» и немного походить по сайту, имитируя поведение живого пользователя: сохранять все куки, localStorage, вести себя правдоподобно.

Совсем грязный хак для очень сложных систем — попасть на нужный сайт ботом из поисковика: так мы становимся более похожими на целевого пользователя, нежели по прямому заходу на сайт.

🤖🤖 Для больших объёмов нужна фермочка таких ботов — доступ к различным прокси и пулам браузеров с подготовленной историей.

Если все сделать правильно, это становится ключиком к большинству интернета. Остальное — либо глубокая специфика, либо действительно надёжные системы.