🤩MIO: A Foundation Model on Multimodal Tokens

Новая базовая модель, построенную на многомодальных токенах, способную понимать и генерировать речь, текст, изображения и видео сквозным авторегрессивным способом.

Экспериментальные результаты показывают, что MIO демонстрирует конкурентоспособную, а в некоторых случаях и превосходящую производительность по сравнению с предыдущими двухмодальными базовыми линиями, базовыми линиями моделей any-to-any и даже базовыми линиями, специфичными для модальности.

Более того, MIO демонстрирует расширенные возможности, присущие его функции any-to-any, такие как чередующееся создание видеотекста, цепочка визуально-мысленных рассуждений, создание визуальных руководств, редактирование обучающих изображений и т. д.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться