🦙 Meta* выпустила самую большую языковую модель с открытым кодом Llama 3.1-405B

Meta удивила мир ИИ, представив свою новейшую и самую мощную языковую модель с открытым исходным кодом – Llama 3.1-405B.

Основные факты

⭐️ Параметры: Llama 3.1-405B является самой крупной моделью в серии Llama, обладая 405 млрд параметров. Представлены также более компактные версии на 8 и 70 млрд параметров.

Количество параметров влияет на способность модели рассуждать, понимать контекст и генерировать разнообразный, точный и креативный контент. Больше параметров требуют больше вычислительных ресурсов.

📊 Бенчмарки: на тестах новинка очень близка к лидерам рынка GPT-4o и Claude 3.5 Sonnet. Смотрите сравнение по пониманию языка (MMLU), программированию (HumanEval) и математике (GSM8K и MATH) 🔼

🖼 Мультимодальность: эта модель сможет обрабатывать и генерировать как текст, так и изображения. Модель уже внедрена в бета-версию WhatsApp для Android.

🔒 Открытый исходный код: Llama 3.1-405B позволяет разработчикам и исследователям использовать ее в своих проектах. Это делает ее доступной для более широкого круга пользователей, включая университеты и небольшие компании.

🖥 Контекстное окно: модель использует новый токенизатор, который расширяет словарный запас с 32K до 128K токенов, что улучшает обработку языка и позволяет более эффективно работать с текстом, запоминая больше контекста.

➡️ Протестировать Llama 3.1-405B можно здесь.

📱Марк Цукерберг уже дал видеоинтервью.

В предыдущей серии:

❓ Чем отличаются модели с открытым и закрытым кодом

🦙 Llama 3 – самая большая LLM-модель с открытым кодом

* Meta запрещена в России

#news #llama @hiaimedia