#GitVerseПолезное

Смотри, какой репозиторий! ⬇️

Наши коллеги из Kandinsky выкатили KVAE-Audio — токенизатор, который максимально качественно сжимает звук для обучения диффузионных моделей.

Токенизатор позволяет работать с информацией во всем слышимом спектре, сжимая аудио с частотой дискретизации 48 кГц.

Чем примечательна эта модель?

⭐️Регуляризация латентного пространства: токенизатор не жертвует пригодностью латентов для диффузии ради качества реконструкции — обычно у аудио-VAE перекос именно в эту сторону.
⭐️По метрикам и оценкам людей обходит токенизатор из MMAudio (UIUC × Sony AI) и DACVAE.

Пожалуй, лучший открытый аудио-VAE такого уровня — и сделан у нас.

Код и инференс уже на GitVerse 🚀
Послушать сэмплы можно тут.