Привет! В первой заметке (с последующей детализацией) мы поговорим про важное — про парсинг, а если по простому — про хождение по чужим сайтам и сбор данных с них. Парсить чужое нехорошо, но этим занимаются все.

📲 Спарсить можно все, вот вообще все, до чего у вас есть доступ. Если контент за авторизацией — это очень сильно срезает возможности, но если вы впринципе что-то видите на экране ноута или в приложении на телефоне — это всегда можно стащить автоматически. Будь то ютуб, телеграм или любой другой сервис. А вот насколько это будет быстро, легко и удобно — это уже вопрос.

Глобально сложность парсинга можно разбить на три+ группы:
— добро пожаловать
— мы вам не рады
— мы вас ненавидим
— отдельная номинация: стриминговые сервисы

🤗 «Добро пожаловать» — это большая часть интернета, то есть когда дополнительно для антипарсинга ничего не делалось. Весь контент структурировано упакован, никаких блокировщиков или рейт-лимитеров на «принимающей стороне» нет, заходи, располагайся, тащи что угодно. Такое парсить — кайф.

😡 «Мы вам не рады» — случай посложнее, когда на источнике уже обнаружили, что их парсят и стараются это ограничить. Защита может варьироваться и, как правило, представляет собой фильтрацию внешнего потока: пытаются поймать совсем анонимные сессии, ставят куку и делают трекинг по ней, всякие фингерпринты и вот это все. Это не очень приятно, но все еще достаточно легко обходится.

👹 «Мы вас ненавидим» — это уже серьезный соперник. Эти ребята уже точно знают, что их часто парсят и не просто стараются вас ограничить, а хотят вас переиграть и уничтожить. Здесь помимо фильтрации на вход (и сильно более хитрой выдачи данных) есть подмена контента, частичная обфускация и парсинг такого может превратиться в ад. То есть, проверка входа — тоже есть, но когда вы это все обошли вам начинают подсовывать не тот контент, который должен быть. Например, вы хотите узнавать цену продукта, а вам начинают кидать ее абсолютно случайную каждый раз. Если это не поймать и забирать все как есть, то потом может быть очень больно.

🎥 Про стриминг своя специфика: медиа-контент отдается порционно через специальные протоколы и часто с DRM-шифрованием, плюс каждый сегмент может требовать отдельной авторизации. Такой контент целиком можно получить только «прослушав» его фактически в реальном времени, что занимает много времени и генерит много детектируемого трафика.