🚀 Mistral научили маленькие модели думать как большие

Mistral AI представила семейство Ministral - компактные модели, созданные с помощью подхода cascade distillation.

- Большая модель Mistral 3 выступает в роли «учителя»
- Дистилляция проходит в несколько этапов, а не за один раз
- Каждая следующая модель учится на результатах предыдущей
- Быстрее inference
- Дешевле запуск в продакшене
- Подходит для edge-устройств и локального запуска
- Можно масштабировать AI-сервисы без огромных затрат
- В итоге - меньше размер, ниже стоимость, высокая точность

Большие модели будут использоваться для обучения…
а в продакшене будут работать маленькие и эффективные.

https://www.deeplearning.ai/the-batch/mistral-uses-cascade-distillation-on-mistral-3-to-build-ministral-family

#ai #ml #llm #Mistral