Первые результаты голосования за лучшую LLM модель!
Не так давно я запустил голосование среди SEOшников на тему: Какая языковая модель лучше находит LSI семантически близкие слова.
Кратко суть эксперимента
Подаём на вход ключевое слово и с помощью механизма описанного у меня в телеграм канале, ищем наиболее близкие по ключу фразы в базе слов всех 4-х нейросетей. На выходе Excel таблички в которых отобраны лучшие 100 слов для каждой из моделей.
И вот подъехали первые результаты и есть первая сенсация, итак по порядку!
1. Предварительная оценка показала, что, если взять выборку из 100 наиболее важных слов (вряд ли SEOшник внедрит больше), пересечение фраз со всеми 4-мя моделями колеблется в районе 15%. Максимальная схожесть по близким фразам которую я увидел между 2-мя моделями в районе 60%. Таким образом, можно сделать вывод, что важно выбрать именно правильную модель.
2. Модель от Google показала, крайне слабые результаты, просто удивительно!
3. Chat GPT на удивление не плох!
Ну и самая главная интрига, кто же на 1-м и 2-м месте? Ну, как вы догадались не Google ) Может ChatGPT?
Выводы делать рано, давайте ещё потестим!
SEOшник? Мне нужна твоя помощь, тапни тут и проголосуй за лучшую модель!
Post #62
1.36K

- 🔥 3
- 😁 2
- 👍 1