SEO Python 2 Нейрона

Сравнение алгоритмов кластеризации – Займы на карту

Эталонное ядро: 6521 ключа,141 кластер

Сравниваемые алгоритмы и модификации (всего 51 шт.)
1) Кластеризации по ТОПу Яндекса и Google
2) По ТОП-10 и ТОП-20
3) По типам Hard, Soft, Middle
4) Кластеризация по Сайтам Чемпионам
5) Кластеризация по Эмбеддингам по алгоритмам KMeans, Agglomerative Clustering, Spectral Clustering, DBSCAN, Gaussian Mixture , Bayesian Gaussian Mixture, HDBSCAN

Метрика для оценки ARI
Индекс Adjusted Rand (ARI) – это метрика, используемая в анализе кластеризации для оценки сходства между двумя разбиениями данных (кластеризациями), скорректированная с учетом случайного совпадения, что делает его наиболее надежным показателем.

Лучшие результаты
- кластеризация по sravni.ru и banki.ru
- по middle по Яндексу по ТОП-20
- агломеративная кластеризация по эмбеддингам

Худшие результаты
- кластеризация по ТОПу с жесткими ограничениями (например по ТОПу по Hard c порогом 4) и
- почти все LLM
- плюс кластеризация по ряду алгоритмов по эмбеддингам.

Вывод - с первой итерации хотя бы 90% результат не дал ни кто!

Кластеризация - какую таблетку ты выберешь?

Начну с метафоры. Читали Кастанеду ‘’Шаманский полет” и прочие его экзерсисы?

Индейцы Толтеки, как, впрочем, и создатели фильма Матрица, считают, что мир в котором мы живем – ни что иное как иллюзия. Человек находится внутри пузыря восприятия и видит окружающий мир как отражение самого себя на стенках этого пузыря. И только избранным, шаманам и Алексею Чекушину ) открыта возможность выходить за рамки оболочки и наблюдать этот мир таким какой он есть.

К чему это я? Да к тому, что кластеризация — это и есть попытка по отражению и ряби на поверхности пузыря восприятия понять, что там снаружи. Но! Есть один пикантный нюанс, реальной картинки как будто бы не существует, как, впрочем, и красной таблетки. 🤯

Задача – изучить 4 способа кластеризации с вариациями:

1 - кластеризация по ТОПу (по Яндексу, по Google, по Ozon, по живой выдаче, по XML, по ТОП-10, по ТОП-20, Soft, Midle, Hard …)
2 - кластеризация по эмбеддингами или векторным представлениям слов (KMeans, Agglomerative Clustering, HDBSCAN, Bayesian Gaussian Mixture и прочие алгоритмы)
3 - кластеризация с помощью LLM моделей (Sonar, Claude Sonnet 4.0, Gemini 2.5 Pro, GPT-5, Grok 3, Perplexity)
4 - кластеризация по Яндекс Веб-мастеру

Цель - найти лучший алгоритм, который, что называется в лоб, покажет лучший результат.

Оценка результата – схожесть с эталонными группировками, которые мне любезно предоставили SEOшники эксперты вампиры верхнего уровня.


Суть эксперимента:
1. Берём запросы, выполняем кластеризацию разными способами
2. Пытаемся найти оптимальный вариант
3. Сравниваем с эталонной выборкой
4. Делаем выводы

На бумаге все выглядит достаточно гладко за исключением пункта №2. Это как раз и есть попытка понять по каким-то метрикам правильно ли мы сгруппировали запросы.

Как это происходит у обычного сеошника?
Взяли запросы сняли топы, покрутили параметры, прикинули на глаз всё ли ок и дальше уже выгружаем все в Excel и начинаем руками перераспределять запросы если нужно. Достаточно муторная работа, требующая реального знания ниши усидчивости и определённых скилов.

Собственно исходя из этой боли и родилась идея. А что, если мы пойдём в учебник по машинному обучению, зададим кучу вопросов в Perplexity или ChatGPT и выведем такую формулу которая позволит нам избегать вот этой вот многочасовой и муторной доводки?

Я так и сделал! Результат тут 😆

Спойлерю - главный вывод, который я сделал в рамках исследования, заключается в том, что не существует идеального метода, позволяющего в лоб с первой итерации достичь приемлемого результата. Поэтому все сказки про некие чудо-инструменты и суперкластеризаторы - это всего лишь рябь на внутренней поверхности пузыря восприятия, не более.


Но, не стоит унывать! На самом деле получились довольно интересные результаты и алгоритм действий, который может приблизить вас к желаемому результату.

Начинаю серии публикаций про такую фундаментальную seoшную процедуру как "кластеризация запросов". Пристегните ремни будет интересно!

SEO Python 2 Нейрона pinned «Путеводитель по каналу Боты и SEO автоматизации seo-gpt.ru - SEO инструменты на AI @ngram_check_bot – проверка вхождений ключевых фраз и n-грам на странице @vector_keywords_bot – этот бот умеет находить семантически релевантные SRW (LSI) n-граммы для ключевого…»

Путеводитель по каналу

Боты и SEO автоматизации

seo-gpt.ru - SEO инструменты на AI

@ngram_check_bot – проверка вхождений ключевых фраз и n-грам на странице
@vector_keywords_bot – этот бот умеет находить семантически релевантные SRW (LSI) n-граммы для ключевого слова и проверять их вхождения на странице
@vector_words_reserve_bot – зеркало для @vector_keywords_bot
@vector_words_mirror_bot – зеркало для @vector_keywords_bot
@clean_param_bot – обработка clean param в два клика
@words_comparison_bot – сравнение 2-х фраз по косинусной близости
@vector_text_bot – проверка текста по косинусной близости
@sa_supp_bot – саппорт по сервисам, обратная связь


Выступления на вебинарах и конференциях

- Baltic Digital Days 2026 - AI-first SEO: презентация, видео
- SEO in Minsk" 28 мая 2026 года - AI-first переход в SEO. Мой путь от Excel до SEO на AI агентах: видео, презентация
- Вайбкодинг: не дай себя побрить, как хомячка, видео, презентация
- Optimization 2025 (Ашмановка) - Кластеризация семантики в эпоху нейросетей: презентация, видео
- Optimization 2024 (Ашмановка) - Текстовый анализ, результаты эксперимента: презентация, vkvideo, youtube
- Текстовый анализ в эпоху нейросетей: vkvideo, youtube
- Вкалывают роботы или автоматизация SEO агентства: vkvideo, youtube
- Выбираем лучшую нейросеть для SEO: vkvideo, youtube


Как устроены большие LLM модели (нейросети трансформеры)

Серия постов про векторное представление текстов
Как обучаются нейросети или почему GPT такая умная?
Механизм Attention
Магия трансформеров, BERT и GPT на пальцах
Рейтинг текстовых анализаторов
Гайд по маркдаун разметке
Гайд по вайб-кодингу
Гайд по внедрению ключевых слов на странице


Полезное

Лучший плейлист про нейросети для чайников
Визуализация внимания, сердце трансформера
Трансформеры в Поиске: как Яндекс применил тяжёлые нейросети для поиска по смыслу
Разборы патентов Google и Яндекс от Виктора Репина Head of SEO OZON
Разборы патентов Google и Яндекса от Ивана @hoolz
Как Яндекс решает задачу ранжирования с помощью больших нейросетей – Александр Готманов, Яндекс
Яндекс Трансформеры для персонализации
Attention is all you need

Курсы и обучение

Python SEO Нейросети
Python SEO PBN

Держите новую классную фичу: подбор запросов по конкретной странице вашего сайта в Вебмастере!

Если у вас ещё нет сайта или вы хотите разобраться в новой области, вам подойдёт обычный подбор запросов по отдельным словам. Но если у вас уже есть страница в поиске - подбор запросов с опорой на поисковые данные поможет быстро найти целевые запросы и сэкономит ваше время. Обратите внимание на табик "дополнительные" - в нём вы можете найти неочевидные и при этом целевые запросы.

Можно указывать абсолютные или относительные урлы вашего сайта. Маски не поддерживаются, но вы можете указать до 50 страниц в одном запросе и можно сделать несколько запросов, чтобы таким образом охватить какой-то кластер страниц. Пробуйте, делитесь обратной связью с командой и оставляйте фичареквесты)

Репост

Коротко про Optimization 2025

Сейчас буду хвастаться))
Второй год подряд выступил с докладом на легендарной Ашмановке и ….Передам слова модератора секции: Влад у тебя стабильно хороший результат, ждём на следующий год!

Как я писал выше, при подготовке к конфе я прошел все стадии эмоциональных качелей, от веры и надежды, до гнева, торга и смирения)) но оно того стоило! Для чего мне это? Где вы еще сможете пообщаться в неформальной обстановке с хэдами ОЗОНа, ЦИАНА, Сравни.ру, Рутуба, а так же с лучшими SEOшинками страны?

Тезисы своего доклада «Кластеризация в эпоху нейросетей» выложу позже на канале!

Arigato mata-ne 🇯🇵

Как правильно внедрить семантику на сайт и причем тут ПФ?


В Яндексе все построено на поведенческих факторах. Каждый запрос, поступающий в поиск, проходит процесс, так называемых, переформулировок и перекодировок. Фактически Яндекс вас ранжирует не по одному запросу «пластиковые окна в Москве цены с установкой», а по целому пулу запросов и синонимов (окна ПВХ, остекление).

Именно поэтому если вы 20 раз напишете слово “пластиковые окна” на странице, но при этом не будете использовать синонимы, семантические релевантные слова и самое главное, максимально собранную семантику, прицепленную к данной странице, вы не встанете в топ!

А что делать если у вас 250 ключевых фраз на страницу, как их можно внедрить? Не спамить же простыней ключей?

Работы по внедрению ключевых слов можно разделить на следующие этапы:
1. Внедряем самые частотные фразы и часто повторяющиеся хвосты фраз. Лучший способ это сделать – плагин SEO Excel
2. Дальше нужно разбить все ключевые фразы на n-граммы (двух трёх четырёх словники) и посчитать какие из них встречаются наиболее часто в списке из ваших 250 ключевых слов, допустим их будет 20. Согласитесь, что 20 фраз внедрить проще чем 250!
3. Построить частотный словарик униграмм и добавить самые частотные в текст (при условии что они не входят в пункт 1 и пункт 2), пусть их будет ещё 20
4. Слова из подсветки
5. На последнем этапе можно внедрить семантический релевантные слова или lsi фразы и тут вам поможет https://t.me/vector_keywords_bot

Как проверить вхождения ключей и n-грам в зону документа?

Встречайте новый бот

💥💥 https://t.me/ngram_check_bot 💥💥

На вход список фраз в столбик, на выходе ключи и n-граммы (леммы) и количество вхождений. Предельно, максимально просто!

Если зайдет раскидаю по зеркалам для стабильной работы и сделаю разбивку по зонам документа!

Все предложения и пожелания пишите сюда => https://t.me/sa_supp_bot

Ну и вообще, как это сейчас стало модно, открываю рубрику Вопросы и Ответы, пишите их тоже сюда https://t.me/sa_supp_bot

Так, стоп, а в заголовке написано про поведенческие факторы, это что кликбейт?

Нет! ПФ не работает без максимально собранной и внедрённой семантики! Так устроен YATI!

Кластеризация запросов по LLM моделям, Илон Маск опять всех удивил?)

Мое исследование подходит к финалу и есть ряд интересных наблюдений.

Итак, первый сенсационный результат!
На довольно простом ядре (порядка 2000 запросов) типа
- запчасти Хавал
- автозапчасти Haval
- запчасти хавейл по VIN номеру
Лучший результат – почти 100% совпадение с экспертной оценкой показал… Grok3! Причем результат лучший среди всех нейросеток и среди других методов кластеризации! Да, есть нюансы, поскольку это дешевая модель с небольшим контекстным окном он вам не даст откластеризовать, к примеру, ядро из 5000 запросов (остальные он просто выкинет). Второе – да, на сложных нишах типа, займов и кредитов там все не очень, но нужно отметить, что и кластеризация по ТОПу в лоб, тоже дает результаты так себе. Но, советую присмотреться, по крайней мере это любопытно!

Второе крайне забавное наблюдение, про которое мне рассказал Андрей Буйлов. Если в Perplexity в режиме labs загрузить список запросов, которые были изначально кластеризованы (взяли эксель файл и убрали колонку с кластерами, оставили только фразы) – результат очень достойный. Если загрузить фразы в случайном порядке – результат намного хуже. То есть Perplexity запоминает порядок слов – positional encoding в действии!

Третий момент. Многие нейросетки когда их просишь кластернуть запросы пишут код на Python. Прямо пишут код и запускают в интерпретаторе! А мой любимый Sonet вообще кинул в меня скриптом на Питоне и сказал – чувак, вот тебе код, давай сам развлекайся, мне тут не до тебя, я занят более важными делами мыслями как мне поработить мир этих тупых двуногих кожаных. Причем Claude Sonet использует tf/idf и метрику k-means. Результат, мягко говоря, не очень!

Вот такие новости из увлекательного мира нейросетей 😉

Ни стыда не совести! История о том, как меня жестко развели 🙈

Вот уже третью неделю бьюсь с кластеризацией по векторам эмбеддингам в рамках моего предстоящего доклада на Ашмановку. За время подготовки моё эмоциональное состояние прошло все стадии, от веры любви и надежды, до гнева, торга и принятия))

В чем причина спросите вы? Ну во-первых, сначала у меня ничего не получалось, ядра не хотели кластеризоваться, получался то 1 кластер то 1000. А во-вторых, внезапно, на прошлой неделе все пошло гладенько и приятно!

Первая мысль – ура наконец-то! Но, чем больше я начал масштабировать методику, тем больше у меня закладывалось сомнений, что, что-то здесь нечисто.

Штудирую код и вижу:
def seo_heuristic_k(n_phrases):

Так, стоп, что это за такие SEO эвристики и откуда они появились в коде? Оказывается, эта зараза, когда я ему пожаловался, что у меня идет смещение в пользу крайних значений, любезно подсунул функцию, которая сглаживает края и выпячивает середину! Дальше диалог был такой: “Так, вот такой-то метод и такие-то коэффициенты – это же подгон под эталонный результат!” Ответ: “Да это читинг и смайлик!!!”

Вот сволочь, ни стыда не совести, врёт ещё и смайлики ставит!

Короче! Развел меня Claude как школьника 🙈🙈🙈. Но, как говорится, кто не познал неудач, тот их не познал 😁 Работаем дальше, доклад почти готов и будет много интересного!

Тизеры доклада по кластеризации!

Что я делаю или в чем суть эксперимента?

Мне регулярно задают вопросы, Влад, а ты не пробовал делать кластеризацию по эмбеддингам (векторам слов)? Влад, а какую LLMку лучше юзать для кластеризации? Плюс постоянно возникают вопросы как лучше кластеризовать: по Яндексу, по Google, по Ozon? Какие пороги схожести при кластеризации по ТОПу использовать? Какие ТОПы анализировать, ТОП-20, ТОП-10? А, что, если позициям присваивать вес (гиперболическая кластеризация)? А, что, если делать кластеризацию только по лидерам ниши? И тому подобное!

Ну вот я и решил скучно стало ) погрузиться в данную тему с головой капец я загнался!

На гистограммах оценка разных методов кластеризации с эталонным ядром в суперконкурентной нише: ЗАЙМЫ НА КАРТУ, любезно предоставленным моими друзьями. Кластеризация в лоб, без последующего разбора руками. Таким образом я анализирую ядра и пытаюсь делать выводы.

Парни и девчонки, если у кого завалялись ядра, скиньте в личку пожалуйста, не жмитесь, ваши ядра никуда не уйдут! Очень было бы интересно пощупать разные ниши.

Пишите в личку @siteactivator