[статья] | [код]
Самая актуальная работа решающая колапс кодбука и очень хорошо воспроизводится, поэтому запомните FSQ. Идея простая и хорошо масштабируемая на люблю vq-vae модельку.
Берем элементы фичермапов, а теперь внимание: значение каждой размерности ограничивается пространством меньшей размерности (рис.1) по этой формуле:
Z_i → ⌊L/2⌋ tanh(Z_i)
где Z_i наши фичермапы, а L количество возможных значений для каждой размерности. Теперь у нас нет операции поиска ближайших элементов из кодбука к фичерамапам, мы просто округляем в меньшую сторону L/2 и скейлим на tanh(Z_i).
Градиент проходит через округление с помощью straight-through estimator (STE), но в 2025 я бы смотрел в сторону rotation trick. Поскольку теперь мы работаем с каждым измерением фичермапов, градиенты распространяются по множеству квантованых ячеек. Благодаря этому элементы кодбука эффективно заполняют латентное пространство и у нас используются ВСЕ элементы кодбука. Бьютифул.
Говоря в принципе, до каких масштабов скейлится этот метод не знаю, но в общепринятых масштабах кодбука, а это до 2^16 ситуация удовлетворительная (рис. 2, экспы на imagenet).
Я также отмечу факт, что статья написана очень хорошо, она легко читается и идея простая, масштабируемая, код легко запускается. А зачем делать ресерч, который не масштабируется и на заводится? Давайте вспомним горький урок от Ричарда Саттона :)
#papers #vqvae #images