Размер имеет значение? На что обращать внимание при выборе LLM

Все мы знаем, что модели существуют разные: GPT-4o и GPT-4o-mini, Gemini Pro и Gemini Flash... А если вы, как и я, любите возиться с опенсорсными моделями, то наверняка обращали внимание на цифры с рядом с буквой "b" в названиях: 7b, 14b, 70b. И то и другое относится к размерности модели. Но как оно влияет на работу?

Давайте разбираться!
Эти самые "b" – это миллиарды параметров модели. Грубо говоря, параметры – это количество нейронов в “мозгу” ИИ. Чем их больше, тем обычно "умнее" модель и тем сложнее задачи она может решать. Однако, как и в жизни, "больше" не всегда значит "лучше"! 🙃

Не гонитесь за гигантами!
Не для каждой задачи нужен "тяжеловес" с сотнями миллиардов параметров. Например, если вам нужно быстро просуммаризировать статью или получить ответ на простой вопрос, вполне хватит и "малыша". Я, например, для таких целей часто использую китайскую Qwen 2.5 на 7b. Шустрая, компактная, бесплатная и работает оффлайн!

Но! Важно помнить, что количество параметров - это не единственный фактор. Очень многое зависит от архитектуры модели, качества данных, на которых она училась, и методов обучения. Вполне реальна ситуация, когда модель с меньшим количеством параметров уделывает более "накачанного" конкурента. Например, новые модели LLama при меньшей размерности работают лучше, чем предыдущее поколение.

Коротко и ясно vs. Подробно и детально
Тут есть важный нюанс. Маленькие модели, как правило, лучше работают с короткими и четкими промптами. Им сложно удерживать в памяти длинные инструкции и кучу деталей. Но если у вас задача -“монстр", требующая соблюдения множества условий, тут без большой модели зачастую не обойтись.

Хотя и тут есть лайфхаки! Даже с небольшой моделью можно добиться хороших результатов, если правильно "разжевать" ей задачу. Используйте few-shot prompting (дайте модели несколько примеров) или chain-of-thought prompting (разбейте задачу на цепочку простых шагов). Это как объяснить что-то ребенку: не надо сразу вываливать всю информацию, лучше по шагам, с примерами.

Контекст – наше все!
Хоть это и не связано напрямую с количеством параметров, но более "тяжелые" модели обычно имеют и большее контекстное окно. Это как оперативная память у ИИ: чем больше, тем больше информации он может удерживать “в голове” и учитывать при ответе. Например, у Gemini Pro контекстное окно - 2 миллиона токенов, а у Flash - 1 миллион. Для большинства задач и миллиона хватит за глаза, но бывают и исключения.

Но опять же, не все так просто. Есть техники, позволяющие работать с длинными текстами даже на моделях с небольшим окном. Можно разбить текст на части, обработать каждую отдельно, а потом "сшить" результаты. Или использовать RAG, когда модель ищет нужную информацию в базе данных, а не держит все в памяти.

Больше данных – больше проблем?
Размерность модели влияет и на то, насколько эффективно она работает с большими объемами информации. По своему опыту скажу: Gemini Flash начинает "сбоить" после 50 тысяч токенов, а Pro спокойно переваривает и 800 тысяч! Так что, если вы планируете "скормить" модели целую библиотеку, выбирайте с умом.

И не забывайте про узкие места. Например, внимание (attention) – механизм, который позволяет модели фокусироваться на важных частях текста. В классических трансформерах (архитектура большинства LLM) сложность вычисления внимания растет квадратично с длиной текста. Это значит, что обработка очень длинных текстов может быть очень медленной и дорогой (особенно если вы платите за API). Поэтому разработчики и придумывают всякие "хитрости", вроде sparse attention или linear attention.

Выбор модели – это всегда компромисс между мощностью, скоростью, размером контекстного окна и... вашими задачами. Смотрите на реальные возможности моделей, экспериментируйте и помните, что лучший ИИ – это тот, который решает ваши задачи, а не тот, у которого больше цифр в названии.

Еще больше про особенности выбора моделей я рассказываю в рамках обоих тренингов, на которые все еще можно записаться по сниженной цене.

#обучающиематериалы