◽️
Доступные для скачивания модели LLaMa 3.1 2/2 🧩Pretrained:
Meta-Llama-3.1-8B
Meta-Llama-3.1-70B
Meta-Llama-3.1-405B
Meta-Llama-3.1-405B-MP16
Meta-Llama-3.1-405B-FP8
Fine-tuned:
Meta-Llama-3.1-8B-Instruct
Meta-Llama-3.1-70B-Instruct
Meta-Llama-3.1-405B-Instruct
Meta-Llama-3.1-405B-Instruct-MP16
Meta-Llama-3.1-405B-Instruct-FP8
Llama-Guard-3-8B
Llama-Guard-3-8B-INT8
Llama-Guard-2-8B
Llama-Guard-8B
Prompt-Guard-86M◽️
Комментарии к версии 405B: — MP16 (Model Parallel 16) - полная версия весов BF16.
Эти веса можно запустить только на нескольких нодах с использованием pipelined parallel инференса.
Минимально требуется 2 ноды с 8 GPU.
— MP8 - полная версия весов BF16, но может быть развернута на одной ноде с 8 GPU с использованием динамического квантования FP8 (Floating Point 8).
— FP8 (Floating Point 8) - квантованная версия весов. Эти веса можно запустить на одной ноде с 8 GPU и с использованием статического квантования FP.
▪️Модель 405B требует примерно 750 ГБ и минимум двух нод (по 8 GPU) для инференса в MP16.
▪️Загрузить модели можно с сайта
Meta.Ai или с официальное репозитория на
Huggingface Для скачивания нужно заполнить форму запроса доступа.
🧬 UPD: Первая GGUF-версия на HF в Q8
уже появилась.
Hare AI |
Chat |
Twitter |
Youtube |
Website