Mini-Omni

В данной работе представлена Mini-Omni — аудиобазированная сквозная модель для диалогового взаимодействия в реальном времени. Чтобы достичь этой возможности, мы предлагаем метод генерации речи, управляемый текстовыми инструкциями, а также стратегию batch-parallel во время инференса, что дополнительно повышает производительность. Наш метод также позволяет сохранить исходные языковые способности модели с минимальной деградацией, обеспечивая основу для создания других моделей с возможностями взаимодействия в реальном времени. Мы называем этот метод обучения "Любая модель может говорить" (*Any Model Can Talk*).

Кроме того, мы представляем VoiceAssistant-400K — датасет, предназначенный для дообучения моделей, оптимизированных для генерации речи. Насколько нам известно, Mini-Omni является первой полностью сквозной open-source моделью для взаимодействия с речью в реальном времени, открывая новые перспективы для будущих исследований.


https://huggingface.co/gpt-omni/mini-omni/tree/main

https://arxiv.org/abs/2408.16725

https://github.com/gpt-omni/mini-omni


👉 @bigdata_1