Модель, которую можно запустить на калькуляторе

Есть нейросети настолько маленькие, что их, наверное, можно запустить хоть на школьном калькуляторе. На тех, где миллион кнопок, а внутри по сути Arduino 😁

Поговорить с такой моделью не получится. Код она не напишет и архитектуру не объяснит.

Зато она отлично работает классификатором. Пишет пользователь в поддержку, а модель решает: хочет живого человека - ответ «live», вопрос по документации - «docs». Никакого свободного текста, только выбор из вариантов.

> Многие провайдеры отдают такие модели бесплатно: 0 за входящие токены и 0 за исходящие.

В нормальной системе такая модель стоит первой. Она решает, куда отправить запрос, а большую и дорогую модель зовут, только когда без неё правда не обойтись.

Есть и следующий шаг - Decision LLM. Это модели, которые отвечают только «да» или «нет» или выбирают из заданных вариантов. Они очень быстрые, а платишь только за входящие токены. Про них и поговорим завтра.

Эфир в четверг, 15 октября, в 19:00

👉 Попасть на эфир: https://t.me/+z8VGa1Nh_BszYzdi

Расскажу, что это за модели, где их применять и почему вокруг них сейчас такой хайп среди программистов.

#нейросети · yt · tg · ig