Вчера на тренинге меня расспрашивали про локальные LLM в компании: что они могут и какие лучше. Тема актуальная, так что решил поделиться.

1⃣ Открытые ИИ-модели небольшого размера — уже почти на уровне GPT-4.1
Найти задачи, где они «косячат», становится всё труднее.

И вам для них не нужны кластеры. Уже за ~25 тыс.₽ в месяц можно арендовать сервер с GPU, чтобы развернуть Qwen3 14B. А эта модель по качеству лучше GPT-4, которая ровно год назад была в топ-5 (теперь, правда, опустилась до 91-го места в рейтинге lmarena).

2⃣ Какие открытые модели лучше?

— Сейчас самая крутая по соотношению рейтинг/цена сервера — Gemma 3 от Google. В ней 27B параметров, но с технологией QAT в апреле ее требования к объему видеопамяти уменьшились до 14GB (!). Gemma 3 сейчас на 13-м месте в рейтинге lmarena.ai, тогда как GPT-4.1 — на восьмом.

— Для некоторых задач может подойти французская Mistral Small 3.1 (24B). Пользователи lmarena ее оценивают невысоко, но есть задачи и бенчмарки, где она превосходит Gemma 3 (см. скрин).

— #новость Ну и на этой неделе вышла китайская Qwen3, она умеет работать в рассуждающем режиме. Почти каждая версия этой модели — первая в своём размерном классе. Не обошла Qwen только ту самую Gemma 3.

В общем пора пробовать небольшие локальные модели. Это уже не так дорого и покрывает большинство базовых задач.

#LLM #локальные