Mistral выпустила 3-миллиардную модель с контекстом в 256 тысяч токенов

256 тысяч токенов — это примерно две средних книги. Раньше такой объём был у проприетарных гигантов вроде GPT-4, а теперь его удерживает компактная модель, которая укладывается в 4 ГБ видеопамяти и работает на смартфоне. Внутри встроен нативный вызов функций: модель сама решает, когда стоит обратиться к более крупной версии из облака.

Сначала веса распространялись под коммерческой лицензией, но в декабре Mistral перелицензировала всё под Apache 2.0. Теперь модель можно развёртывать локально без платы за лицензию.

Через API она стоит 0,04 доллара за миллион токенов — для сравнения, это заметно дешевле большинства проприетарных аналогов.

Сравнение с Llama 3.2 3B и Gemma 3 2B на awesomeagents.ai.