В последнее время в поисковой выдаче Google по запросам на русском языке начали часто появляться два проекта от Яндекс, которые, на первый взгляд, имеют все признаки дорвеегенерации.
Проект 1: https://300.ya.ru
- Проект генерирует текстовые аннотации к любым видео на YouTube и других сервисах на русском языке (пример: https://300.ya.ru/v_2tJfSaq6).
- Для индексирования только аннотаций к видео в файле robots.txt добавлено специальное правило
Allow: /v_*$.- Поддерживается обширный сайтмап со ссылками на пересказы видео https://300.ya.ru/sitemap.xml.
- Судя по баннеру, проект является дорвеем для перенаправления трафика на Яндекс.Браузер.
Проект 2: https://ya.ru/neurum
- Генерируются ответы через YandexGPT на основе других источников (пример: https://ya.ru/neurum/c/nauka-i-obrazovanie/q/v_chem_zaklyuchaetsya_osnovnoy_nedostatok_algoritma_2a219833).
- Есть ссылка на лендинг https://ya.ru/neuro-search/, используемый для перенаправления трафика на Яндекс.Браузер, а также ссылка на поиск в Яндекс.
- Некоторые вопросы в разделе Другое, кажется, взяты с mail.ru (?).
- В файле ya.ru/robots.txt специально для юзерагента Googlebot размещен сайтмап с посадочными страницами https://ya.ru/neurum/sitemaps/sitemap.xml.gz.
Другие проекты:
В том же https://ya.ru/robots.txt для Googlebot указаны еще два сайтмапа менее агрессивных программатик проектов:
- Медицина: https://ya.ru/medicine/sitemaps/sitemap.xml
- Финансы: https://ya.ru/finance/sitemaps/sitemap.xml
Вывод:
Если это сработало для русского языка, то должен сработать похожий подход и для других языков в Google. Берите на заметку :)
P.S. Если кто-то хочет зарепортить в Google, что эти сайты нарушают правила поисковой системы, велкам: https://search.google.com/search-console/report-spam