😬 Забыл выделить одну деталь. Размер кодовой книги напрямую влияет на качество реконструкции. С одной стороны это очевидно, с другой стороны об этом не всегда думают.

Хороший кодбук содержит элементы, которые будут максимально близки по евклидовому расстоянию к данным на входе модели. Размер кластеров напрямую влияет на точность реконструкции (скрин 1). Тут также стоит отметить, что мы получаем не 1 токен после энкодера, а несколько и затем свертками проходимся по ним. Посмотрите на оригинальную картинку VQ-VAE (скрин 2). Там идет тензор и каждый его элемент отдельно квантуется через кодбук. Мы просто даем больше информации декодеру и поэтому можем генерить более разнообразные данные.

Теперь, когда всем понятно насколько важно подобрать правильный размер кодбука, я напомню про совсем непопулярную статью: RAQ-VAE, здесь разработан подход для адаптивного под скорость размера кодбука. В целом, размер кодбука можно подбирать и по другим показателям используя идеи представленные в RAQ-VAE. Других критериев для адаптации кодбука никто не пробовал - возможно это будет неплохой темой для ресерча, думойте.

#papers #thoughts