Dart: Product SEO Engineer

AI-стартапы открыли для себя Google Dorking. OpenAI в панике прикрывает лавочку.

Вчера по сети разлетелась новость: в индекс Google утекла масса переписок из ChatGPT. Оказалось, что публичные ссылки на диалоги, которыми делились пользователи, отлично индексировались поисковиком. В итоге по простому запросу site:chatgpt.com/share можно было найти чужие резюме (и легко сдеанонить их авторов), странные вопросы с форумов для инцелов и просто забавные диалоги с нейросетью.

Сначала OpenAI выкатили стандартный комментарий в духе "это не баг, а фича". Мол, это был такой эксперимент, и пользователи сами давали согласие на индексацию. Но, видимо, масштаб проблемы и медийный шум оказались слишком велики.

Буквально через несколько часов после первых публикаций OpenAI резко переобулись и полностью прикрыли эту функцию. Официальная причина: эксперимент "создал слишком много возможностей для случайного шеринга того, чем люди делиться не собирались". Проще говоря, они поняли, что натворили, и потушили пожар.

Но для тех, кто в теме, в этом нет ничего удивительного. Мы уже давно замечали, что молодые AI-сервисы относятся к данным пользователей, мягко говоря, наплевательски.

Классический пример — Genspark. Ещё в начале июня по простому дорку site:https://www.genspark.ai/autopilotagent_viewer можно было найти больше сотни страниц чувствительных данных. Сейчас там, конечно, всё вычистили. Но сколько ещё таких дыр существует, о которых пока неизвестно публично?

Похоже, AI-стартапы с большим опозданием открыли для себя гуглдоркинг. Теперь, видимо, будут в панике прикрывать все лавочки, пока пользователи не наткнулись на что-то совсем уж компрометирующее. А мы просто будем наблюдать за этой суетой.

JSON для промптинга

На днях мне скинули тред в твиттере, который привлек мое внимание. Основная идея треда: перестаньте "просить" ИИ, начните "указывать" ему, что делать, используя JSON-структуру. Это как дать строителю чертёж вместо абстрактных пожеланий.

Ключевые тезисы:

JSON — это язык структуры. Он заставляет вас и модель мыслить чётко. Вы заранее определяете цель, структуру, аудиторию и формат. Меньше итераций, точнее результат.

Точность > Креативность. JSON идеален для задач, где нужна структура (статьи, код, стратегии), а не для творческого хаоса (генерация идей, сторителлинг).

Промпт-чейнинг. JSON упрощает создание цепочек задач, где результат одного шага становится входными данными для следующего. ИИ воспринимает это как последовательность API-вызовов.

Я и сам попробовал применить, создав промпт для генерации title'ов для adult ниши.

{
"role": "SEO Specialist and Copywriter, expert in the adult content niche.",
"task": "Generate a relevant, attention-grabbing, and SEO-optimized title for a webpage based on provided keywords.",
"instructions": {
"goal": "Create a title that is as clickable as possible in Search Engine Results Pages (SERP) and aligns with user intent.",
"language": "english",
"tone": [
"direct",
"arousing",
"intriguing"
],
"output_format": "Provide a single title as a string."
},
"rules": {
"length": "The title should be up to 100 characters long, including spaces.",
"keyword_placement": "Input keywords are provided in descending order of frequency. The primary and highest-frequency keyword should be placed as close to the beginning of the title as possible, with others following. Maintain the logical word order of the language.",
"content_uniqueness": "The title must be unique, attention-grabbing, and not merely a list of keywords, but it should contain as many keywords from the input data as possible.",
"punctuation": "Use minimal punctuation, only when necessary for grammar. Avoid special characters, except hyphens (-) for separation."
},
"input_keywords": [
"milf porn",
"milf sex",
"milf videos",
"milf xxx",
"milf video",
"milf tube",
"xxx milf",
"free milf porn",
"mom porn",
"free mom porn"
]
}

Результат: "MILF Porn & Sex: Free MILF Videos & XXX Tube"

Причем я смог обойти этим способом Adult фильтр, который в последнее время часто стал попадаться мне в Gemini.

Другие варианты использования также впечатлили! Теперь для четких понятных задач буду использовать промпты в виде JSON, и, вероятно, любой другой структурированный формат вроде XML тоже окажется хорош.

OSINT-разведка конкурентов через Certificate Transparency

Хотел поделиться рабочей "темкой" для исследования инфраструктуры конкурентов. Метод простой, но мало кто знает.

Суть метода
Certificate Transparency — публичная база всех SSL-сертификатов. Компании не могут скрыть домены, для которых получают сертификаты.

Команда:

curl -s "https://crt.sh/?q=example.com&output=json" | jq -r '.[].common_name' | sort -u

Что найдёте
За пару секунд получите все поддомены конкурента:
- Скрытые API и тестовые среды
- Блоги и контентные разделы
- CDN домены
- Мобильные версии
- Региональные сайты

Почему это работает
CT-логи содержат даже "секретные" домены. Большинство компаний даже не подозревают, что их инфраструктура светится в открытых источниках.

Реальный пример c известным сайтом каталогом слотов
Взял вами любимую нишу и получил множество доменов, а какие-то даже доступны во вне:

Публичные сервисы: 12 доменов
DevOps/CI-CD: 15 доменов
Мониторинг: 8 доменов
Данные/ETL: 20 доменов
Тестирование: 12 доменов
Игровые сервисы: 5 доменов
Облачные: 6 доменов
Служебные: остальные

Всего несколько десятков поддоменов, по названию которых можно догадаться об их предназначении.

Ребятам порекомендовал бы большинство поддоменов сделать доступными только под VPN, а то местами Grafana светится и т.д. :)

LLM-ки говорят, что для этичности нужно компании обезличивать. Обезличил как мог!

Несколько лет назад, когда я плотно занимался дорвеями, пик трафика стабильно приходился на периоды Core Update.

Смотрю выдачу, и ничего не меняется. Вот и сейчас, по некоторым запросам случаются дни, когда чьи-то доры оккупируют больше половины SERP'а. :D

Конечно, после завершения апдейтов нередко вылетала значительная часть сетки, но это уже нюансы..нюансы...

О слепых зонах Ahrefs и Semrush в оценке органики

Ключевое ограничение Ahrefs, Semrush заключается в том, что их модели оценки органического трафика построены на анализе классической Web-выдачи. Они берут запросы, их частотность и позиции сайта, но игнорируют другие мощные источники органики — Images, Videos и другие вкладки выдачи. Это создает искаженное представление о реальной стратегии и успехе конкурента.

Наглядный кейс: Трафик из видео

В рамках моего исследования Adult-выдачи в США в 2024-м году (на базе 400к+ англоязычных запросов) сайт letmejerk.com продемонстрировал интересный феномен. Он занял 7-е место по видимости в видео-выдаче.

Ahrefs показывал очень скромные для Adult цифры в 820к органики.

Similarweb, который рассчитывает трафик на основе кликстрима (данных о реальном поведении пользователей), фиксировал 14M ежемесячных визитов, где органика была 81% от входящего трафика.

Вывод и решение: Комплексный подход

Чтобы получить объективную оценку, не доверяйте слепо одному источнику данных. Используйте многоуровневый подход:

Ahrefs — для глубокого анализа видимости именно в веб-поиске, отслеживания динамики позиций, анализа семантического ядра и ссылочного профиля.

Similarweb — для оценки общего трафика и проверки гипотез. Если его данные по органике сильно превосходят показатели Ahrefs, вы, вероятно, нашли сайт, который эффективно использует для привлечения пользователей из Images, Videos или другой вкладки Google.

Как альтернатива внутри Semrush: сравните данные из отчета Organic Search (веб-выдача) с данными из Traffic Analytics, Sources & Destinations (кликстрим). Большая разница между ними также укажет на скрытый трафик из неосновных вкладок выдачи.

Такой подход позволяет не упустить из виду конкурентов, чья стратегия построена не на доминировании в Web поиске.

Google прикрывает трафик на AI-изображениях

Ещё в прошлом году хотел было накатать пост о том, как поднимать трафик на сгенерированных фотках, но так и не дошли руки. Была одна рабочая "темка", о которой некоторые знакомые просили не сливать инфу в паблик, чтобы не убили быстро.

Суть была простой: в Google Image отлично ранжировались сгенеренные AI-картинки на основе конкретных известных персон, особенно всё, что связано с адалтом. Можно было генерировать фотки для топовых онлифанщиц и порнозвезд, и это имело эффект, фотографии ранжировались высоко в топе.

Почему это работало? Алгоритмы Google Картинок оказались тупо не готовы к такому качественному AI-контенту. Генерации были высокого разрешения, чёткие, и Гугл с радостью их закидывал в топ. К тому же, из-за новизны и эффекта "зловещей долины" пользователи сами активно кликали на такие изображения. Почти весь топ по жирным adult-запросам вроде "bbw porn pics" или "teen porn pics" был забит AI-фотками. Трафика было море.

Но, похоже, лавочку прикрыл сам Google.

За последнее время даже по самым обычным запросам типа "three guys on couch" из топа исчезла всякая генерёнка, хотя ещё недавно там было полно откровенной дичи.

Скорее всего, это связано с регуляциями, которые вводят государства из-за дипфейков и прочих прелестей AI. Вероятно, в Google оценили риски и решили, что проще всё это вычистить, чем потом таскаться по судам.

Даже "жирные" запросы, где люди целенаправленно ищут сгенерированный контент, вроде "ai porn", перестали показывать откровенные фото в топе выдачи. А в видео-выдаче — сначала общие сайты и куча роликов о том, как всё это теперь хотят зарегулировать.

Похоже, после объявленной войны AI-текстам, Google вышел на тропу войны и с AI-медиаконтентом.

Google обновил документацию по SafeSearch

- Самое важное 1: Google Search обновил ранжирующий алгоритм, который будет сильно аффектить сайты, которые хостят откровенные видео, но не дают доступ GoogleBot'у к видео-файлам. Такие сайты получат ощутимый дроп в ранжировании, особенно в Video табе поиска.

- Самое важное 2: Уточнили, что сайты с большим количеством удалений CSAM или откровенного контента без согласия могут быть понижены в ранжировании.

Остальное:

- Раньше это была одна страничка в документации краулинга, теперь вынесли отдельно на две странички.

- В целом обновили и расширили документацию.

- Расширили информацию по обработке видео-байтов.

- Добавлено больше инструкций на случай ошибочной пометки сайта как содержащего откровенный контент.

Рекомендую всем, кто работает в Safe Search нишах ознакомиться:

https://developers.google.com/search/docs/specialty/explicit/guidelines

https://developers.google.com/search/docs/specialty/explicit/troubleshooting

Remedies Hearing Exhibits (May 2025)

В последнее время нескончаемый поток инсайтов из новых документов в деле против Google.

Самое важное! Я скачал за вас и переименовал все PDF из этих слушаний. Очень удобно загрузить все 70 в NotebookLM и задавать ему вопросы! Но помните, что его ответы надо перепроверять.

Прикладываю к посту.

Еще я обновил старую табличку с вещественным доказательствами и отсортировал по свежести. Старые теперь в отдельном табе.

https://docs.google.com/spreadsheets/d/1TU6UxMNdWFiKjCgM0tp94je1niWFL7Scpg-T2ZkGwxo/edit?usp=sharing

Форумы RIP?

В один день перестали работать 3 очень старых форума:
maultalk.com, gofuckbiz.com, armadaboard.com

Ходят слухи, что в тот же день закрылась и распустила штат одна уважаемая и очень старая партнерка, в названии которой присутствуют буквы R и X.

Выводы делайте для себя сами.

А пока, оказалось, что один старый и уважаемый форум закрытого типа, решил заполнить эту пустоту и открыться для всех, запустившись с нуля:
https://blackseo.com

PagerankNS и Q*

Теперь из слушания по делу Google мы знаем, что современный Pagerank является одним из ключевых входных параметров для расчета показателя качества Q*. В этом посте я кратко опишу сам патент и предложу стратегию линкбилдинга, вытекающую из этих данных.

Патент US9953049B1 (ключевые отличия от классического Pagerank на картинке к посту) описывает метод оценки страниц, основанный на их «расстоянии» в ссылочном графе от набора заранее выбранных авторитетных «эталонных» сайтов (seed sites). Вместо передачи «веса», система вычисляет «кратчайший путь» до каждой страницы, где у каждой ссылки есть своя «длина». Итоговый рейтинг страницы зависит от того, насколько она «близка» к этим трастовым источникам.

В качестве примера эталонных сайтов названы Google Directory и The New York Times.

Поясняется, что такие сайты являются хорошими «эталонами», поскольку они надежны, охватывают широкий круг тем и хорошо связаны с другими страницами (имеют большое число исходящих ссылок), выступая в роли «хабов» в сети.

От себя добавлю, что патент довольно старый и на практике эталонами считаются даже сайты поменьше, а какие-то крупняки, которые массово продают размещения вообще не считаются за авторитеты. Тут самостоятельно определите для себя, какие сайты считать за эталонные.

Понимая, как работает современный PageRank, можно прийти к главному стратегическому выводу: для повышения общего показателя Q* не обязательно иметь прямую ссылку с авторитетных сайтов.

Гораздо важнее находиться в "хорошем районе" интернета, то есть быть как можно ближе к "авторитетам" в ссылочном графе.

Цель: Сократить "расстояние" вашего сайта до авторитетов, тем самым повысив его базовый Q*.

Тактика:

Картографировать граф ссылок: С помощью аналитических инструментов визуализируйте, как ваш сайт и сайты конкурентов связаны с трастовыми ресурсами.

Оценивать "расстояние": Определите, через сколько "рукопожатий" (переходов по ссылкам с учетом их "длины") ваш сайт связан с авторитетами по сравнению с конкурентами.

Строить стратегию линкбилдинга: Ищите возможности для получения ссылок не только с самих "авторитетов", но с сайтов второго или третьего уровня, которые находятся максимально близко к авторитетным сайтам. Такая ссылка может оказаться тем самым "коротким путем" и дать существенный прирост в базовом качестве вашего сайта.

Итог: Фокус линкбилдинга смещается с "охоты за жирными ссылками" на стратегическое позиционирование своего сайта в экосистеме ссылок. Это не просто работа над одним из многих факторов ранжирования, а целенаправленное улучшение одного из ключевых компонентов сигнала качества Q*, который определяет базовый уровень доверия поисковой системы к вашему сайту.

Ключевые моменты из документа о поисковых технологиях Google (2)

Другие сигналы

- eDeepRank: Система на основе больших языковых моделей (LLM), использующая BERT и трансформеры. Ее цель – разложить сигналы на компоненты для повышения их прозрачности.
- PageRank: Сигнал, отражающий расстояние от известного качественного источника и используемый как входной параметр для оценки качества (Q*).

Поисковый индекс
По определению HJ Kim, поисковый индекс состоит из фактического просканированного контента – заголовков и основного текста документов (инвертированный индекс). Существуют также отдельные специализированные инвертированные индексы для других типов контента (например, из Twitter, Macy's), которые хранятся отдельно от индекса для органических результатов. Сигналы, зависящие от запроса, не хранятся в индексе, а вычисляются в момент выполнения запроса. Однако для удобства некоторые сигналы, включая Q* (который в основном статичен, но иногда зависит от запроса), хранятся непосредственно в поисковом индексе.  

Данные со стороны пользователя
Под данными со стороны пользователя (User-Side Data) инженеры Google понимают данные о взаимодействии пользователя с системой, а не контент, созданный пользователями (например, ссылки между страницами).  

Поисковые функции и их ранжирование
Различные элементы поисковой выдачи, такие как "10 синих ссылок" и другие вертикали (например, панели знаний), имеют собственные системы ранжирования. Проект Tangram (ранее Tetris) был создан для применения основных принципов поиска ко всем этим элементам. Алгоритмы Tangram/Tetris, как и другие, было сложно разработать, но их можно было бы легко реконструировать при наличии данных о кликах и запросах. Knowledge Graph (Граф знаний) используется не только для отображения в панелях на странице результатов поиска, но и для улучшения традиционного поиска, предоставляя ему информацию о связях между объектами (например, в запросе о росте жены Барака Обамы).  

Риски обратной разработки (Reverse Engineering)
В документе выражается обеспокоенность тем, что утечка документов Google, раскрывающих некоторые компоненты системы ранжирования, в сочетании с данными о работе системы, может позволить конкурентам реконструировать принципы работы, включая кривые и пороговые значения, без необходимости проводить собственные дорогостоящие исследования.

Ключевые моменты из документа о поисковых технологиях Google

В документе, датированном 18 февраля 2025 года и являющемся записью разговора с инженером Google HJ Kim, обсуждаются различные аспекты работы поисковой системы Google, с акцентом на принципы ранжирования и используемые сигналы.

"Ручная настройка" сигналов
Большинство сигналов, за исключением основанных на машинном обучении RankBrain и DeepRank, создаются и настраиваются инженерами "вручную". Это позволяет анализировать и корректировать их работу. Процесс разработки включает анализ данных, использование сигмоидных или других функций и определение пороговых значений. В некоторых случаях инженеры могут вручную выбирать среднюю точку на основе релевантных данных. Для большинства сигналов используется регрессионный анализ данных, таких как контент и структура веб-страниц, клики пользователей и данные от асессоров.  

Фундаментальные сигналы (ABC) и Тематическая релевантность (Topicality)
Ключевыми компонентами являются так называемые ABC-сигналы, разработанные инженерами:  

- Anchors (A): Ссылки с одной страницы на другую.  
- Body (B): Термины, содержащиеся в документе.  
- Clicks (C): Исторические данные о том, как долго пользователь оставался на странице после перехода из поисковой выдачи.

Эти сигналы лежат в основе определения тематической релевантности (Topicality или T*) документа по отношению к запросу. Topicality объединяет эти три сигнала "вручную" и используется Google для оценки релевантности документа на основе поисковых терминов. Разработка этого показателя требовала значительных усилий и находилась в постоянном развитии до недавнего времени (примерно до 2020 года).  

Преимущества "ручной настройки"
Основная причина "ручной настройки" большинства сигналов заключается в том, что в случае сбоев Google точно знает, что и как исправлять. Google стремится к полной прозрачности своих сигналов для возможности их отладки и улучшения. Это рассматривается как значительное преимущество перед конкурентами, такими как Bing, которые используют более сложные системы машинного обучения, затрудняющие выявление и устранение проблем.  

Кривые ранжирующих сигналов и компоненты IR-оценки
Инженеры Google строят графики ("кривые") для ранжирующих сигналов, и подгонка этих кривых происходит на каждом уровне сигналов. Основными компонентами, формирующими итоговую оценку информационной релевантности (IR score), являются ABC-сигналы (тематическая релевантность, связанная с конкретным запросом) и Navboost.

Качество (Quality - Q*)
Сигнал качества (Q*), отражающий надежность и авторитетность страницы, является чрезвычайно важным. В основном он статичен и не зависит от конкретного запроса, хотя в некоторых случаях может учитывать информацию из запроса для предоставления более точных результатов. Команда по качеству страниц была создана около 17 лет назад, в частности, для борьбы с проблемой "ферм контента" – сайтов, массово производящих низкокачественные статьи. Проблема качества контента остается актуальной, особенно с развитием технологий искусственного интеллекта. Поскольку Q* в значительной степени статичен и связан скорее с сайтом, чем с запросом, его можно было бы легко реконструировать при наличии соответствующих данных.

Забавное наблюдение из Adult SEO или как выглядит рамадан в трендах Google на примере Пакистана.

Яндекс делает дорвеи?

В последнее время в поисковой выдаче Google по запросам на русском языке начали часто появляться два проекта от Яндекс, которые, на первый взгляд, имеют все признаки дорвеегенерации.

Проект 1: https://300.ya.ru

- Проект генерирует текстовые аннотации к любым видео на YouTube и других сервисах на русском языке (пример: https://300.ya.ru/v_2tJfSaq6).
- Для индексирования только аннотаций к видео в файле robots.txt добавлено специальное правило Allow: /v_*$.
- Поддерживается обширный сайтмап со ссылками на пересказы видео https://300.ya.ru/sitemap.xml.
- Судя по баннеру, проект является дорвеем для перенаправления трафика на Яндекс.Браузер.

Проект 2: https://ya.ru/neurum

- Генерируются ответы через YandexGPT на основе других источников (пример: https://ya.ru/neurum/c/nauka-i-obrazovanie/q/v_chem_zaklyuchaetsya_osnovnoy_nedostatok_algoritma_2a219833).
- Есть ссылка на лендинг https://ya.ru/neuro-search/, используемый для перенаправления трафика на Яндекс.Браузер, а также ссылка на поиск в Яндекс.
- Некоторые вопросы в разделе Другое, кажется, взяты с mail.ru (?).
- В файле ya.ru/robots.txt специально для юзерагента Googlebot размещен сайтмап с посадочными страницами https://ya.ru/neurum/sitemaps/sitemap.xml.gz.

Другие проекты:

В том же https://ya.ru/robots.txt для Googlebot указаны еще два сайтмапа менее агрессивных программатик проектов:

- Медицина: https://ya.ru/medicine/sitemaps/sitemap.xml
- Финансы: https://ya.ru/finance/sitemaps/sitemap.xml

Вывод:

Если это сработало для русского языка, то должен сработать похожий подход и для других языков в Google. Берите на заметку :)

P.S. Если кто-то хочет зарепортить в Google, что эти сайты нарушают правила поисковой системы, велкам: https://search.google.com/search-console/report-spam

Марафон по линкбилдингу

Мой хороший приятель запускает марафон по линкбилдингу с целью вывода новорег-домена из песочницы и достижения видимости в Google. Участники смогут протестировать различные методы линкбилдинга в конкурентных нишах на новых EMD-доменах. Марафон длится 30-45 дней, и участники должны следовать установленным правилам. Старт запланирован на пятницу.

Проблемы с парсингом выдачи Google

Если у вас возникают сложности со скрейпингом Google, вы не одни. Даже крупнейшие сервисы трекинга позиций столкнулись с этой проблемой. Как сообщили в Similarweb Барри Шварцу, неполадки начались 15 января, когда Google ввел новые методики борьбы с автоматическими запросами.

Ребята из A-Parser оперативно выпустили фикс вчера, но уже сегодня парсинг снова перестал работать. Команда обещает разобраться. UPD: выпустили новый фикс.

Следим за развитием ситуации.

Reddit Pro Trends: Новый инструмент для бизнеса

Реддит выпустил новый инструмент чем-то похожий на Google Trends, позволяющий бизнесу следить за обсуждениями любых тем на Reddit в реальном времени:

https://www.business.reddit.com/blog/reddit-pro-trends-launch

Особенности инструмента:

- Основан на отслеживании ключевых фраз для выявления сообществ, обсуждений и трендов, важных для вашего бизнеса.

- Контекстная релевантность топиков ключевым словам.

- Позволяет видеть, что и, главное, как часто говорят о ваших ключевых словах, оценивая интерес аудитории в текущий момент.

Для использования инструмента необходимо зарегистрироваться в Reddit Pro, бесплатно, но я еще не получил аппрув.

Для SEO-специалистов вижу следующую потенциальную пользу:

- Узнавать дополнительные темы и ключевые слова, которые популярны в тематике.

- С помощью тредов можно понять, что беспокоит юзеров в данный момент и создать посадочные отвечающие на вопрос на вашем сайте.

- В целом, лучше понимать, что нужно потенциальной аудитории сайта.

...но насколько это все оправдается, поймем в процессе использования. :)