​​👀 EVLM: эффективная модель визуального языка для визуального понимания

Наш метод в первую очередь включает: использование перекрестного внимания для взаимодействия изображения и текста, аналогичного Flamingo использование иерархических функций ViT, а также введение механизма Mixture of Experts (MoE) для повышения эффективности модели.

Модель достигает конкурентоспособных оценок в публичных многомодальных тестах и ​​хорошо справляется с такими задачами, как субтитры к изображениям и видео.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться