Майже всі системи, які захищаються від ботів, використовують javascript перевірки. Наприклад, у CloudFlare це добре виходе (хоча технологія примітивна), обійти захист не так просто. Чому Google тягнув цю реалізацію не дуже зрозуміло.

Наступним кроком після js-капчі буде використання shadow dom. Це коли даних немає в реальному DOM документі, а вони всі знаходяться в тінєвому, і щоб отримати доступ, потрібно рендерити сторінку (тобто просто dom api вже не працює).

Парсінг видачі буде важкий. Інструменти з поганою техпідтримкою перестануть працювати, вартість інших стане вище. Бо рішення, які потрібно використовувати, потребують інших технологій і ресурсів.

Якщо використовувати емуляцію браузера і рендерінг, він зможе тільки відображати Shadow DOM, але прямий доступ до вмісту буде заблокованим (у режіми mode=closed). Боти можуть побачити контент, але їм складно визначити структуру чи ієрархію даних.

Залишається тільки OCR (оптичне розпізнавання символів). Це складний і ресурсоємний підхід, але може бути єдиним варіантом. Поки що Google тільки вмикає капчу, тому багато інструментів підналаштувались і працють в звичайному режимі.

Ще цікавий момент, що з одного боку логічно гуглу мати свій API для видачі. Але видача настільки персоналізована і локалізована, що не дуже зрозуміло, як цей API має працювати. Вони просто не зможуть віддавати коректні дані без прив'язки до юзера.

Майбутнє парсингу змінюється. Готові до цього? :)

#трендипошуку