Lance: Unified Multimodal Modeling by
Multi-Task Synergy
[код и веса на странице проекта]

ByteDance продолжают заниматься мультимодальной генерацией, выпуская один техрепорт за другим. При этом, очередная модель под названием Lance имеет не так много отличий от своих предшественников:

• Задачи: к стандартным задачам i2i, t2i, VLM и LLM генерации добавляют генерацию и редактирование видео;
• Размер: при этом, модель буквально микроскопическая - всего 3В параметров;
• Архитектура: в стандартную для мультимодалок dual-stream архитектуру добавили новый Modality-aware Rotary Positional Encoding блок, позволяющий более легковесно и, при этом, однозначно кодировать весь зоопарк мультимодальных данных, еще и закодированных разными энкодерами;
• Обучение: сравнительно нестандартно учат на мультимодальных данных сразу, то есть не делая более простого претрена на одну, заранее выбранную модельность.

Основной фокус работы
Синергия между задачами. Авторы подобрали данные и сетап обучения, позволяющие улучшить качество относительно обучения на отдельные задачи.

Другие детали
• В выборе авторегрессия против диффузии авторы делают пока что стандартный выбор: AR для генерациий текстов, диффузия для генерации картинок и видео
• Энкодеры для генерации и понимания картинок берут отдельно (никаких RAE-подобных унифицированных представлений)
• Унификацию бекбона авторы избегают. Следуя примеру Bagel и HunyuanImage 3.0 они разделяют ветки понимания и генерации изображений, обосновывая это наблюдениями о разнонаправленной оптимизации для этих двух задач.

Последний пункт кажется особенно интересным, поскольку он как будто не вяжется с экспериментальными результатами. С одной стороны, аблейшены показывают, что между задачами есть синергия и учить одну модель для мультимодальной генерации полезно. С другой стороны, кодировать всё в единую тушку оптимизационно сложная задача и все успешные архитектуры разделяют стримы генерации и понимания.

Вывод:
По всей видимости, существует некий баланс раннего и позднего фьюзинга задач, обеспечивающий синергию знаний, но не мешающий оптимизации, поиском которого сейчас занимаются на практике. И кажется, что скорее всего именно это является лимитирующим фактором роста качества, а не скейлинг размера моделей и данная 3В моделька тому подтверждение.