Модель основана на Whisper от OpenAI и обучена на большом наборе данных разнообразного аудио.
- 70-кратная транскрипция в реальном времени с помощью Whisper large-v2
- Требуется <8 ГБ памяти GPU для big-v2 с beam_size=5
- Точные временные метки на уровне слов с помощью выравнивания wav2vec2
- Многоголосый ASR с использованием диаризации диктора
- Препроцессинг VAD уменьшает галлюцинации
$ git clone https://github.com/m-bain/whisperX.git
$ cd whisperX
$ pip install -e• Github
@machinelearning_ru
