🌟 Только что вышла модель Jamba 1.5.

✨ Архитектура SSM-Transformer сочетает в себе качество Transformer и эффективность Mamba, меньший объем занимаемой памяти, более легкую тонкую настройку в длинных контекстах.

🚀 Jamba 1.5: новое открытое семейство LLM от AI21
- Варианты Mini и Large
- Новая архитектура SSM-трансформатора e
- Гибридная модель SSM-трансформера на основе смеси экспертов (MoE)

📏 Контекстное окно:
- 256K лексем (самое длинное среди открытых моделей)
- Поддерживает качество на протяжении всего контекста

⚡ Скорость:
- До 2,5 раз быстрее на длинных контекстах
- Jamba 1.5 Mini: Самый быстрый на 10K контекстах (тест искусственного анализа)

🏆 Производительность:
- Jamba 1.5 Mini: 46,1 в бенчмарке Arena Hard
- Jamba 1.5 Large: 65.4 в бенчмарке Arena Hard (превосходит Llama 3.1 70B и 405B)

💾 Новая техника квантования: ExpertsInt8
- Предназначена для моделей MoE
- Квантует веса MoE/MLP в INT8
- Самая низкая задержка среди техник квантования vLLM
- Mini позволяет разместить до 140K контекстов в одном A100

🌐 Особенности:
- Многоязыковая поддержка
- Вывод JSON, вызов функций, объекты документов, цитаты

🔧 Примеры использования:
- Анализ документов, рабочие процессы RAG, поддержка клиентов

🖥️ Доступность:
- Несколько платформ: AI21 Studio, Google Cloud, Azure, Hugging Face, NVIDIA NIM.

Поддерживается в трансформаторах и VLLM

Официальное объявление - https://ai21.com/blog/announcing-jamba-model-family

Модель - https://huggingface.co/collections/ai21labs/jamba-15-66c44befa474a917fcf55251

@machinelearning_ru