В интернете сейчас можно найти кучу примеров как LLMки заставляют заниматься тем, на что они были не очень предназначены - zero shot классификация, ранжирование, регрессия, выделение сущностей (NER) итп.

Для этих задач есть хорошие маленькие (очень маленькие) модели, которые справляются значительно лучше LLMок, отвечают значительно более стабильно, и требую десятки мс на инференс.

Например модели GLiNER и NuNER (мультияз и английский) - это топовые модели для NER, при этом работают Zero shot c любыми классами описанными текстом, на уровне GPT-3.5, и легко бьют его, если показать им десяток примеров, а главное требуют ~< 1 ГБ RAM

Чуть подробнее можете почитать на канале Серёжи - создателя этоих моделей, выпускника МФТИ, ШАД и MLE в крутом 🇫🇷 AI cтартапе 😉

Сережа также пишет про то, что нового в Европейском ИИ и каково там строить стартапы

https://t.me/ai_in_europe/8 - про маленькие аналоги LLM

https://t.me/ai_in_europe/9 - про гранты на ИИ стартапы

https://t.me/ai_in_europe/15 - HuggingFace прибылен и почему это очень нетипично