Я всегда относился к идее VQ-VAE с особым вниманием. Неведанным мне образом, VQ-VAE лучше, чем просто VAE, ведь у нее пропал апостериорный коллапс, так еще и качество генерации стало лучше и даже разнообразие данных на выходе (обобщаемость). Победу VQ объясняют тем, что... ну вот с дискретными данными все лучше (рис. 1, где чуть ниже нет ответа, нигде его нет). Наверное, тут история как с трансформером: хорошо работает, потому что потому. Но мы все равно постараемся обосновать 💡

Хотя чего мне ожидать, ML это естественно научная дисциплина и некоторое без экспериментов не понять совсем. Идея VQ-VAE активно применяется с некоторыми модификациями для кучи задач, т.к. дискретные репрезентации можно использовать на вход трансформеру)) Вот она главная причина актуальности VQ-VAE, но, конечно, не единственная. Всякие DDPM диффузионки также используют идею VQ-VAE. Кроме того, VQ-VAE используют для кодирования аудио/картинок в мультимодальное пространство эмбедингов 👍

Но есть серьезная проблема — размер кодовой книги. Кодовая книга сама по себе большая, а при более-менее длинном куске данных может достигать 2^40 элементов. Следовательно, если нужно будет дообучить модель или кодовую книгу, вам придется много ждать. Эту проблему в некоторой степени решила идея residual vector quantization (RVQ). Кроме того, есть другая идея масштабирования кодовой книги, о которой вряд ли кто-то знает: RAQ-VAE. Завлекла статейка ☺️

Авторы предлагают 2 метода для динамического размера кодовой книги: на основе модели, используя оригинальную кодовую книгу для дифференцируемой кластеризации (DKM) (рис 2.) и на основе данных, здесь мы тоже берем ориг. кодовую книгу, а затем на ее основе sec-2-sec предсказываем оптимальную кодовую книгу (рис. 3). Не претендую на разбор статьи в этом посте, а сделаю это позже на ютубе или в карточках, эээ, но это не точно. Пока просто рекомендую статью, т.к. она не про трансформеры)) Представлена новая идея, к тому же объяснения сопровождаются математикой, что приятно. Также в статье довольно интересные референсы, особенно в 4 главе про сопутствующие этой статье работы.

#papers