🦙 Вышла Llama 3. Это самая большая LLM-модель с открытым кодом

Meta опубликовала сразу две версии новой модели Llama 3: 8B и 70B — с 8 млрд и с 70 млрд параметров соответственно. В США и ряде англоязычных стран модели уже интегрированы в интеллектуального помощника Meta AI.

💪 Самая большая LLM

Главный специалист Meta по AI Ян Лекун пишет, что длина контекста Llama 3 составляет 8 тыс. токенов (это примерно 5 тыс. слов на английском или 1200 на русском) — именно столько способна запомнить модель за один разговор с пользователем. А сами модели обучены на 15 триллионах токенов на специально созданном кластере из 24 тысяч процессоров, что делает Llama 3 самой большой в мире LLM-моделью с бесплатным доступом и открытым кодом.

🔋Что по производительности?

В Meta отмечают, что благодаря улучшенной масштабируемости и производительности Llama 3 может легко справляться со сложными и многоэтапными задачами. Согласно таблицам прохождения тестов обработки естественного языка, модели 8B и 70B превосходят результаты моделей в своем классе: Mistral 7B и Claude 3 Sonnet соответственно. Смотрим таблицу выше 🔼 Например, MMLU — это понимаете языка, GSM-8K — математика, а HumanEval — программирование.

👍 Специальные сценарии

Llama 3 поддерживает 12 ключевых сценариев: запрос совета, мозговой штурм, классификация, ответы на закрытые вопросы, кодинг, творческое письмо, краткое содержание, умение вживаться в образ, ответы на открытые вопросы, рассуждения, переписывание и обобщение.

В ближайшие месяцы Meta планирует выпустить новые версии модели, в том числе 400B, что, по словам создателей Llama 3, ознаменует новую веху в развитии LLM с открытым кодом.

✅ Как пользоваться?

Протестировать новые модели можно бесплатно с помощью Perplexity, выберите Llama 3 в разворачивающемся списке.

Еще почитать:

🔝 GPT-4-Turbo возглавила рейтинг языковых моделей

🕊 xAI представила новую модель Grok-1.5 Vision Preview

#news #Meta @hiaimedia