Новые модели от OpenAI, Mistral и Meta*: дайджест новостей ИИ

Рассказываем, что произошло в мире ИИ за последние две недели.

GPT-4o mini — быстрая и доступная GPT

Компания OpenAI выпустила языковую модель GPT-4o mini. Особенность модели — компактный размер, благодаря чему она быстрее и дешевле флагманской GPT-4o. Эти преимущества позволяют использовать модель в приложениях, где важна маленькая задержка между запросом и ответом, — например, в чат-ботах, которые отвечают на вопросы клиентов.

Несмотря на относительно маленький размер, модель превосходит GPT-3.5 Turbo и миниатюрные модели от других компаний в тестах понимания языка, математических и логических способностей, а также поддерживает все языки, которые есть в старшей версии.

Обновление LLama 3

Корпорация Meta* выпустила LLama 3.1 405B — одну из самых больших языковых моделей, которые есть в открытом доступе. Модель сопоставима с GPT-4o или лучше её практически во всех стандартных тестах.

Meta также обновила младшие версии LLama 3. Обновлённые модели имеют более высокие показатели во всех задачах, а также могут работать с существенно более длинными текстами.

Еще Meta рассказала об экспериментах по внедрению в модели поддержки работы с изображениями и видео. Все модели доступны для использования в исследовательских и коммерческих целях.

4 новых модели от Mistral

Французский стартап, основанный бывшими сотрудниками Meta*, выпустил две новые языковые модели, а также модели, специализированные для написания кода и решения математических задач.

Mistral Large 2 поддерживает сотни естественных языков и «знает» свыше 80 языков программирования. Также Large 2 была специально обучена использовать внешние инструменты (например, браузер и интерпретатор кода).

Mistral NeMo — модель среднего размера с упором на мультиязычность. Nemo использует эффективную предобработку текстов не на английском языке. Так, тексты на китайском, итальянском, французском, немецком, испанском и русском языках представляются на 30% компактнее по сравнению с LLama 3. Благодаря этому модель работает с «иностранными» текстами быстрее и ресурсоэффективнее.

Codestral — семейство моделей, обученных писать программный код. Модель доступна в двух размерах: 7 и 22 миллиардов параметров. Codestral опережает модели схожих размеров в задачах на программирование. Младшая версия основана на архитектуре Mamba 2, что отличает её от практически всех языковых моделей, которые в свою очередь используют архитектуру Transformer. Архитектура Mamba 2 позволяет модели обрабатывать очень длинные тексты, что особенно актуально для задач по написанию кода.

Mathstral — модель, предназначенная для решения математических задач. Mathstral показывает высокие результаты в тестах на понимание естественных наук, она смогла решить две из 30 задач из AIME (второй отборочный этап на международную олимпиаду по математике в США). Для сравнения — почти все модели конкурентов не смогли решить ни одну из предложенных задач.

*Meta признана в РФ экстремистской организацией.

🤖 «Системный Блокъ» @sysblok