⚡ Черговий Paper Meetup в It-Jim ⚡

Цього разу ми обговорювали цікаві підходи до real-time voice conversion, а саме розбирали підхід StreamVC та його частину — lightweight кодек SoundStream 🎙️

StreamVC дозволяє змінювати голос мовця, зберігаючи зміст та інтонацію мовлення. На відміну від інших популярних підходів, StreamVC використовує каузальну згорткову нейромережу замість трансформерів, що забезпечує ефективну обробку в реальному часі.

Основні переваги StreamVC:

🚀 Працює на мобільних пристроях з мінімальною затримкою
🎯 Зберігає зміст та інтонацію — модель перетворює голос, але зберігає мовний контекст.
🎶 Стабільний тон — введення нормалізованої основної частоти (f₀) покращує інтонацію без витоку тембру оригінального голосу.

Тепер коротко про основні переваги SoundStream:

🎤 висока ефективність компресії звуку навіть при низьких бітрейтах, що дозволяє зберегти якість незалежно від типу аудіо
📱 Мінімальна затримка для потокової обробки в реальному часі — SoundStream підходить для використання на смартфонах
🧨 можливість компресії з вбудованим приглушенням шумів та покращенням якості аудіо
🎯 Гнучкий модуль квантизації, який дозволяє адаптуватись до різних типів аудіо та працювати з різними бітрейтами.

📚 Ділимося матеріалами про StreamVC & SoundStream, які опрацьовували наші інженери. Також дякуюємо Олександру Речинському за підготовку і модерацію зустрічі 💫

Stay tuned! 🚀