🙌🏻XLS-R – новый набор ML-моделей от Facebook AI
Разработчики PyTorch из Facebook опубликовали XLS-R – набор крупномасштабных моделей для самостоятельного обучения кросс-языковому представлению речи на базе wav2vec 2.0. Модели предварительно обучены на 128 языках в течение более 400 тысяч часов немаркированной речи. Благодаря тонкой настройке модели показывают высокий уровень точности распознавания речи и отлично подходят для задач перевода, понимания и идентификации языка. Обучающие данные брались из разных источников, включая аудиокниги и записи судебных заседаний. Нейросетевые модели XLS-R содержат более 2-х миллиардов параметров и являются мультиязыковыми. Причем тестирование показало, что обучение сразу нескольким языкам повышает эффективность нейросетей. Скачать XLS-R можно с Github прямо сейчас.
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr