LLM бывают разными

Да, и это та область, в которой прежде всего имеет значение размер. И он напрямую определяет объем полученного удовольствия.

Размер LLM – это её количество параметров. Грубо говоря, это объём внутренних настроек, через которые она «упаковывает» знания и связи.

Есть маленькие модели – от сотен миллионов до нескольких миллиардов параметров. Например, модель уровня 0.5B–3B можно поднять на ноутбуке и выполнять несложные задачи – классифицировать короткие тексты, извлекать поля из документа, и даже работать как локальный помощник на узкой задаче. Не всегда быстро, не всегда роскошно, но можно.

Есть средний класс – 7B–30B и около того. Это уже более серьёзные модели, которые умеют писать приличные тексты, держать длинный контекст, помогать с кодом, решать задачи анализа и генерации.

А есть большие модели – 100B–200B и выше. Вот тут уже начинается тяжёлая артиллерия. Такие модели лучше справляются со сложным многошаговым рассуждением, тонким удержанием контекста, работой на широком массиве тем, генерацией более качественного текста, кода и объяснений. Но за это приходится платить железом, деньгами и инфраструктурой. Это уже не «поставил вечерком на ноутбук», а отдельная взрослая история.

Важно: большая LLM-модель не всегда нужна. Если вам надо разбирать входящие заявки по типам, выделять реквизиты из акта или помогать оператору с шаблоном ответа, то тащить чудовище на 200B параметров – это как ездить за хлебом на карьерном самосвале. Впечатляет, конечно, но обескураживает.

В реальной работе почти никогда не бывает «просто LLM». Её обычно «обвешивают». Вот несколько простых формул.

1. Вам нужен простой чат для помощи работнику
LLM от 15B-30B + память = ассистент, который помнит контекст. Он помнит историю диалога, имеет общие представления о мире.

2. Вам нужен профессиональный ассистент для команды или работника.
LLM от 30B параметров и выше + RAG + инструменты работы с файлами + память = вопрос-ответ по вашим знаниям

Здесь RAG – это Retrieval-Augmented Generation. Если переводить на «человеческий» язык, это генерация текста, дополненная поиском. Такие системы переводят файловый массив в систему смыслов и умеют их извлекать по запросу.

3. Вам нужен агент, выполняющий конкретную операцию
Ой, здесь всё не просто. Это тема большая и отдельная. Потребуются детали – пишите, отдельно отвечу. Но если кратко, то вам нужен полный управленческий контур.

На чём всё обычно ломается? Не на «слабой модели», как потом удобно рассказывать, а на куда более скучных вещах:
– исходные данные плохие: документы не структурированы, термины плавают, написаны как поток сознания уставшего растамана с Ямайки, а потом все удивляются, что RAG «не видит смысл». Но трудно извлечь смысл там, где его нет. И на практике это самая частая проблема;
– задачу не разложили: хотят от одной LLM сразу и классификацию, и экспертизу, и генерацию, и принятие решений;
– не собрали контур: нет нормальной памяти, файлов, правил, маршрутизации, инструментов и контроля ошибок;
– не понимают цену ошибки: где-то можно терпеть «примерно правильно», а где-то одна галлюцинация модели уже превращается в убыток, конфликт или управленческий цирк.

Именно поэтому большинство неудач с ИИ – это не «нейросеть тупая», а «люди опять накуралесили».

Что можно сделать уже сегодня? Мы с вами имеем ответ на вопрос, что именно я хочу получить от ИИ. Теперь для той же задачи попробуйте найти ответ на эти вопросы:

Мне нужен просто ответ – или работа с моими файлами, памятью и инструментами? Я хочу помощь человеку – или хочу встроить ИИ в процесс?

Если ответите, то у вас впервые появится почти «синопсис» здравого технического задания. А это уже очень немало. Особенно по нынешним временам.

По теме ИИ осталось только два не закрытых вопроса – мульти-агенты и оркестраторы. Закроем их и вернёмся к производительности и автоматизации. Если только вы не подкините вопросов или тем для обсуждения.

Хороших вам выходных!

#ИИавтоматизация #ИИ