Команда Сбера создала токенизаторы изображений и видео, которые превзошли открытый SOTA 📰

Токенизатор — это фундамент, который определяет и качество финальной генерации и скорость работы всей системы. Без хорошего токенизатора даже самая мощная архитектура будет буксовать.

В Сбере представили два новых решения, которые на сегодняшний день превосходят существующие открытые аналоги по ключевым показателям:
🔘2D-KVAE — токенизатор изображений с улучшенными метриками как реконструкции, так и генерации
🔘3D-KVAE — токенизатор видео, который работает быстрее и точнее аналогов

В статье на Хабре открыто разбирают подходы и сложности, с которыми команда столкнулась при разработке и анонсируют выход в open source.