Кластеризация запросов по LLM моделям, Илон Маск опять всех удивил?)

Мое исследование подходит к финалу и есть ряд интересных наблюдений.

Итак, первый сенсационный результат!
На довольно простом ядре (порядка 2000 запросов) типа
- запчасти Хавал
- автозапчасти Haval
- запчасти хавейл по VIN номеру
Лучший результат – почти 100% совпадение с экспертной оценкой показал… Grok3! Причем результат лучший среди всех нейросеток и среди других методов кластеризации! Да, есть нюансы, поскольку это дешевая модель с небольшим контекстным окном он вам не даст откластеризовать, к примеру, ядро из 5000 запросов (остальные он просто выкинет). Второе – да, на сложных нишах типа, займов и кредитов там все не очень, но нужно отметить, что и кластеризация по ТОПу в лоб, тоже дает результаты так себе. Но, советую присмотреться, по крайней мере это любопытно!

Второе крайне забавное наблюдение, про которое мне рассказал Андрей Буйлов. Если в Perplexity в режиме labs загрузить список запросов, которые были изначально кластеризованы (взяли эксель файл и убрали колонку с кластерами, оставили только фразы) – результат очень достойный. Если загрузить фразы в случайном порядке – результат намного хуже. То есть Perplexity запоминает порядок слов – positional encoding в действии!

Третий момент. Многие нейросетки когда их просишь кластернуть запросы пишут код на Python. Прямо пишут код и запускают в интерпретаторе! А мой любимый Sonet вообще кинул в меня скриптом на Питоне и сказал – чувак, вот тебе код, давай сам развлекайся, мне тут не до тебя, я занят более важными делами мыслями как мне поработить мир этих тупых двуногих кожаных. Причем Claude Sonet использует tf/idf и метрику k-means. Результат, мягко говоря, не очень!

Вот такие новости из увлекательного мира нейросетей 😉