🔥Буквально только что Meta наконец выкатила Llama 4 (ждали долго).

В семействе есть две модели: Llama 4 Scout и Llama 4 Maverick, и все они опенсорсные (с лицензией Meta ofks). Модель Llama 4 Scout является смесью 16 экспертов по 17B (итого 109B), с максимальной длиной контекста в рекордные 10 млн токенов. Llama 4 Maverick является смесью аж 128 экспертов по 17B (400B параметров) с максимальной длиной контекста в 1 млн токенов. Обе модели могут принимать на вход текст и изображения, отвечают только текстом. Среди поддерживаемых языков, к сожалению, нет русского.

Благодаря тому, что это MoE, есть вероятность, что не потребуется все 100–400 ГБ памяти для работы модели, так как в моменте ей нужно запускать эксперта на 17B. По крайней мере, Llama 4 Scout может работать на одном 1×H100 GPU в q4 (Maverick’у одной карточки не хватит).

Скачать модели можно тут, и в этом же репозитории есть намёки на ещё две модели, которые появятся позже: Llama 4 Behemoth и Llama 4 Reasoning. Ставлю на то, что Бегемот будет на 1T параметров 😊

UPD: ванговать не пришлось, будет 2Т!!!