🎙️ NVIDIA выпустила PersonaPlex-7B - open-source голосовая диалоговая модель, которая умеет то, что обычно недоступно классическим пайплайнам: **слушать и говорить одновременно**.
Модель:
- 🔓 бесплатная и полностью открытая (MIT)
- 🤗 веса доступны на Hugging Face
- 🧠 full-duplex conversational model (двусторонний “живой” диалог)
Обычно Voice AI устроен так:
ASR → LLM → TTS
Сначала распознаём речь, потом думаем, потом озвучиваем.
Работает эффективно, но диалог получается “роботным”:
говоришь по очереди, без перебиваний, без живой реакции.
PersonaPlex-7B меняет подход.
Она работает на непрерывных аудио-токенах и использует dual-stream transformer, который генерирует текст и аудио параллельно, а не переключает управление между модулями.
Это даёт:
- мгновенные “угу / да / понял” реакции (back-channel)
- естественные перебивания и уточнения
- нормальный ритм разговора, как у человека
Ещё один плюс: управление “персоной” работает zero-shot, без дополнительного дообучения.
Если ты делаешь голосового ассистента или саппорт-агента с низкой задержкой - это очень сильный шаг вперёд.
https://github.com/NVIDIA/personaplex
@pythonl
Post #5335
7.8K

- ❤ 14
- 🔥 7
- 👍 4