🦾 Google выпустили модель с новой архитектурой Griffin, которая превосходит transformers по своим характеристикам.

Griffin превосходит базовые показатели transformers baseline в контролируемых тестах как по шкале MMLU для различных размеров параметров, так и по среднему баллу в различных тестах.

Архитектура модели имеет преимущества в плане эффективности за счет более быстрого вывода и меньшего потребления памяти при выводе длинных контекстов.

▪Статья: arxiv.org/abs/2402.19427
▪Версия 2B на hugging face: huggingface.co/google/recurrentgemma-2b

@machinelearning_interview