🔥 Ultravox — мультимодальная LLM, которая может работать как с текстом, так и с аудио в реальном времени!

🌟 В отличие от традиционных систем, Ultravox не требует отдельного этапа распознавания речи (ASR) — аудио напрямую преобразуется в высокоразмерное пространство, используемое языковой моделью. Это обеспечивает высокую скорость обработки и позволяет модели учитывать такие аспекты речи, как эмоции и тайминг.

💡 Ultravox был обучен с использованием моделей, таких как Llama 3, Mistral и Gemma, и достигает впечатляющих показателей производительности, например, время до первого токена (TTFT) составляет около 150 мс. Модель поддерживает потоковую обработку аудио в текст, а в будущем планируется реализация обратного преобразования текста в аудио. Ultravox доступен для тестирования через локальные Gradio-демоверсии и может быть развернут для более сложных случаев использования, таких как работа в реальном времени.

🔐 Лицензия: MIT

🖥 Github

@machinelearning_ru