OmniFusion 1.1 представляет собой гибридную LLM, способную взаимодействовать с изображениями.

В дополнение к стандартному текстовому диалогу, OmniFusion 1.1 может отвечать на вопросы, основанные на изображениях. Например, она способна анализировать рукописные задачи, интерпретировать карты или предоставлять рецепты на основе фотографий продуктов.

Эта модель построена на базе Mistral, однако легко заменяема другими языковыми моделями.

Разработчики обеспечили доступ к модели как для некоммерческого, так и для коммерческого использования.

Модель доступна на платформе Hugging Face.

https://github.com/AIRI-Institute/OmniFusion

@bigdatai