Whistle: компактная модель для распознавания речи

Представлена Whistle — нейросеть для перевода речи в текст, которая весит всего 16,9 МБ. Модель работает локально на CPU без сторонних зависимостей и подходит для смартфонов, роботов, умных домов и микроконтроллеров.

Whistle выполняет три основные задачи прямо на устройстве:

• Транскрибация аудио (до 30 секунд) на семи языках, включая английский, немецкий, французский и другие.
• Определение временных меток для каждого слова с вероятностью точности.
• Генерация эмбеддингов речи для анализа аудиопотока без расшифровки текста.

Модель поддерживает работу с ключевыми словами, умеет автоматически определять язык и эффективно отсекает тишину. Whistle превосходит аналоги по скорости и качеству на популярных бенчмарках, при этом занимая в разы меньше памяти, чем Whisper. Движок уже адаптирован под 17 платформ, включая iOS, Android, Windows и браузеры.

рекомендуем:
@ElleJournalRussia