Новый Voice режим openai
По слухам Opeanai выпустят voice mode 2 в ближайшие 72 часа на большую аудиторию. В чем продвинутый войс мод отличается от того, что был в их приложении на андроид до этого?

Отличие в end2end архитектуре.
В текущей версии ваша речь подается на вход в Whisper , распознается им в текст. LLM отвечает на ваш вопрос в обычном Text2Text режиме, а ее ответ уже подается на TTS и воспроизводится. Проблема этого метода в том, что мы вынуждены использовать текстовое представление данных, в котором теряется очень много информации. Модель не осознает ваших интонаций, пауз, ее нельзя попросить говорить побыстрее и более низким голосом, она просто может озвучивать текст сухим ттсным голосом.

В новой версии будет единая модель, которая будет получать на вход аудио дорожку и выдавать такую же на выход.

Умельцы смогли обучить и открытые модели по похожей архитектуре - например llama omni или llama text 2 voice. Их можно попробовать уже сейчас, но вот качество будет похуже (чем заявляло Openai)

Тык