Alibaba выпустили QWEN 2.5 7b Omni, которую вы можете запустить прямо у себя на компьютере

Китайцы не перестают удивлять! Выкатили то, чего явно никто не ожидал: модель, которая может с вами разговаривать. И мало того, что оно говорит, ее можно еще и запустить на любом современном макбуке с чипами серии M.

Архитектуру модели назвали Thinker-Talker и с ней буквально можно разговаривать в прямом эфире. На компьютер пока себе не скачивал (жду MLX или GGUF-формат), но записал вам короткое демо с Hugging Face. Кому интересно - с моделью можно поговорить тут.

Почему вообще это важно?
До текущего момента, подавляющее большинство LLM, которые можно было запустить у себя на компьютере, были либо сугубо текстовыми, либо частично мультимодальными (поддерживали еще обработку изображений). Чтобы заставить модель с вами говорить и разбирать голос - нужно было собирать отдельный пайплайн из LLM, ASR и TTS. А теперь достаточно просто скачать одну модель, которая из коробки умеет распознавать: тексты, аудио, видео, отвечать вам в голосом, да еще и делать это в режиме диалога

Alibaba буквально перевернула представления об open-source моделях. Легковесная и реально мультимодальная из коробки.

Уже можно предвидеть, как энтузиасты и компании будут:
- Файнтюнить модель под бизнес-кейсы
- Создавать уникальные приложения
- Экспериментировать с новыми форматами взаимодействия

Не побоюсь назвать QWEN 2.5 7b Omni прорывом в мире локальных LLM, который делает технологию диалога максимально доступной и простой.