🎙 Синтезируем голос с новым инструментом

Команда Yandex SpeechKit разработала фичу Brand Voice Lite. Она позволяет пользователю быстро и просто создать синтез голоса. Понадобится только микрофон и немного свободного времени.

👷 Мы взяли интервью у Глеба Енгалыча из команды Yandex SpeechKit. Самые любопытные факты о сервисе показываем в карточках, а ниже — решения под капотом и ключевые метрики.

Главным вызовом для команды было завести модель на как можно меньшем количестве данных. Чтобы собрать большой датасет для обучения синтеза, нужно потратить много сил, времени и денег — и это отпугивает многих клиентов. Создать маленький датасет намного проще, так что технология становится доступна куда большему числу людей. Поэтому ребята поставили себе ключевую задачу: определить минимальную суммарную длительность датасета, достаточную для стабильного обучения модели.

В самом начале проекта ребята поставили такие цели:

⚪️ Качество синтеза сохраняет уровень текущего прода (по метрике side by side)
⚪️ Время обучения адекватное (не больше 12 часов)
⚪️ Голос на синтезе похож на голос диктора

Чтобы их достичь, ребята ставили эксперименты с разными конфигурациями и размерами модели. В итоге получилось сделать так, чтобы модель за разумное время училась на десяти минутах чистого студийного материала или на сорока минутах грязного звука с микрофона ноутбука. И при этом практически не проседала по качеству в сравнении с продом.

🔛 Метриками для экспериментов стали side by side (аналог А/В-тестирования) и QQ (quality questions) — собственная разработка команды. Это набор бинарных вопросов о качестве звука, например:

⚪️ Есть ли сторонние шумы на аудио?
⚪️ Сохранилась ли вопросительная интонация на записи?
⚪️ Нет ли проблем в произношении у диктора?

🌠 Ещё ребята собрали несколько тестовых датасетов. У них была разная длительность и разные устройства записи: от эйрподс до айфона с макбуком. Такой сбор данных честно отражал будущих клиентов и помог эффективно бенчмаркать модели.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML