🦙 Встречайте, дамы и господа, LLaMA 4: новые мультимодальные MoE модели!

Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.

Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick и анонсированный Llama 4 Behemoth.

Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров · 16 эксперто , 109B общих параметров.

Llama 4 Maverick (400B) 17 млрд активных параметров ,128 экспертов, 400 млрд общих параметров · Длина контекста более 1 млн

У зверюги бегемота (еще тренируется) суммарное количество 2T!!! 16 экспертов, 288B активных параметров. Служит в качестве модели для обучения по методу совместной дистилляции Maverick.

Сейчас выпущены только Scout и Maverick, Кот-бегемот еще обучается.

На сегодняшний день Llama 4 Maverick предлагает лучшее в своем классе соотношение производительности и стоимости,

🟡 Model Card
🟡 Веса
🟡 Релиз

@ai_machinelearning_big_data