Google хочет остановить парсинг, зашифровав URL-адреса через редирект goto. Но есть вариант, как их восстановить / Natzir Turrado

Уже многими в западном сегменте интернета подтверждено появление ссылок из результатах поиска Google типа google.com/goto. Теперь, вместо прямой ссылки на сайт, результаты проходят через редирект с зашифрованным конечным URL.

Как заявляет Google их цель - ограничить парсинг результатов поиска сторонними инструментами, занимающимися искусственным интеллектом (видимо, и не только ими).

Google: «У нас долгая история внедрения технических мер против развивающихся форм злоупотреблений, и мы регулярно принимаем меры для защиты наших услуг и пользователей.»

Для тех, кто сканирует результаты поиска, это значительно усложняет ситуацию, поскольку теперь им придется отслеживать каждый редирект на сайт для получения истинного URL (больше запросов = больше затрат).

Однако, пока еще есть рабочая альтернатива, чтобы избежать подобных дополнительных затрат...

Если вы установите в браузере язык, отличный от языка результатов выдачи, Google добавит кнопку перевода, и эта ссылка будет содержать ЧИСТЫЙ URL назначения. Например, использование "латыни" в качестве языка выдачи гарантирует, что "чистая" ссылка почти всегда будет отображаться (потому что сайтов на латыни практически нет).

Если вы занимаетесь скрейпингом Goolge, все очень просто: достаточно изменить заголовок на "Accept-Language: la".

Пока не ясно, как долго это продержится, но, если сейчас это работает - надо использовать.