SenseNova-U1: новая мультимодальная архитектура NEO-unify работает напрямую с пикселями без VAE

Команда SenseNova представила мультимодальную архитектуру SenseNova-U1, которая объединяет понимание изображений, генерацию и редактирование внутри единого трансформера без VAE или визуального энкодера. Архитектура NEO-unify не только упрощает модель, но и делает мультимодальное обучение заметно эффективнее: 8B-модель превосходит OmniGen и FLUX.1-Kontext на задачах генерации изображений, инфографики и сложных макетов.

Модель умеет генерировать и редактировать изображения, распознавать текст и разбирать документы, работать в мультимодальном чате, выполнять смешанную генерацию текста и изображений, решать задачи визуального рассуждения и создавать инфографику со сложными макетами.

SenseNova-U1 изначально обучается как единая мультимодальная фундаментальная модель, а не как набор соединённых компонентов. Авторы отдельно подчёркивают, что модель работает напрямую с пикселями и текстом без отдельного латентного пространства. Вместо визуального энкодера используется лёгкое разбиение изображения на патчи. Изображение делится на блоки размером 32×32 пикселя, после чего они напрямую отправляются в трансформер. Для этого используются всего два сверточных слоя с функцией активации GELU.

Компактная 8B версия показывает результаты выше BAGEL, FLUX.1-Kontext и OmniGen на задачах редактирования изображений, а 30B MoE-модель показывает уровень Qwen2.5-VL и InternVL на бенчмарках для мультимодального понимания, OCR и визуального рассуждения.

Код, веса моделей, пайплайн инференса и демо доступны на Hugging Face и на Github под лицензией Apache 2.0.

#StateOfTheArt