Братишка я тебе покушать почитать принес. Тема: VQ-VAE. Довольно значимая и горячая тема между прочим, даже моя любимая пока что. Для аудио2миди нужно сделать особенный VQ-VAE и для некоторых других задач, которые я вижу. Подглядываю, что делают другие и вполне возможно, что идеи сложатся в одно целое. Вдруг так в мир выйдет новая крутая идея, бывает) Приятного чтения, ризерчеры VQ-VAE:

1) Restructuring Vector Quantization with the Rotation Trick

2) LG-VQ: Language-Guided Codebook Learning

3) Vector Quantized Wasserstein Auto-Encoder

4) Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%

5) ControlVAR: Exploring Controllable Visual Autoregressive Modeling

6) Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization

7) Balance of Number of Embedding and their Dimensions in Vector Quantization

8) LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling

9) RAQ-VAE: Rate-Adaptive Vector-Quantized Variational Autoencoder

10) HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression

11) T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text

12) WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling

13) Analyzing And Mitigating Inconsistency In Discrete Audio Tokens For Neural Codec Language Models

#papers #images #audio