💪День релизов не закончился, поэтому хочу порадовать вас ещё одной новостью!

🚀Выходим за границы текста

С удовольствием анонсирую новую мультимодальную мультизадачную модель OmniFusion. Работает одинаково хорошо как с текстом, так и с изображениями. Она понимает, анализирует, отвечает на вопросы и продолжает диалог.

🦾 Точно определяет объекты на картинке
🦾 Детектирует расположение и цвета
🦾 Считает объекты
🦾 Работает на английском и русском языках
🦾 Умеет рассуждать и решать сложные задачи даже в специфических доменах, в том числе IQ тесты

В OmniFusion мы использовали очень интересный способ объединения разных модальностей без обучения «с нуля». Правильным образом построили адаптеры над энкодерами, исследовали различные механики обучения и дообучили предобученную LLM, лежащую в основе, понимать изображения.

👀 Обучали на основе модели с 7В параметров, а по качеству почти добрались до LLaVA с 13В в основе.

Узнать больше об архитектуре можно на Хабре, а пока ловите примеры работы.

@complete_ai