BAR — Autoregressive Image Generation with Masked Bit Modeling

Амазон отвлекся от сериалов и шоппинга, и выкатил BAR - авторегрессию, которая наконец-то уделала диффузию, но это не точно.

Дискретные токенайзеры считались слабее непрерывных для генерации картинок. BAR доказывает, что проблема была не в архитектуре, а в количестве бит в латентном пространстве.

Суть такова:
- Скейлят codebook с 2^10 до 2^32 - и дискретный токенайзер начинает бить непрерывный
- Но с таким codebook обычные методы ложатся по памяти и compute
- Решение: masked bit modeling head - предсказываем токены побитово, итеративным анмаскингом
- Результат: 0.99 gFID на ImageNet-256 - новый SOTA во все поля

При этом BAR и быстрее на инференсе, и сходится быстрее. BAR-B с 415M параметрами уже тянет на уровне RAE.

По сути, убрали главный аргумент за диффузию - "дискретные методы хуже".
Нет, просто бит не хватало. Ждем для видео.

arxiv
Проект

@derplearning