Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

Этот обзор — пожалуй, наиболее полный на сегодняшний день источник знаний по мультимодальным генеративкам. В последней, январской ревизии собрали, систематизировали и проанализировали всё то что было сделано в области за последние полтора года.

В обзоре обсуждаются вопросы архитектур, данных и бенчмарков. На основании анализа подсвечиваются проблемы и перспективные направления развития области. Главный вывод — область бурно развивается и у исследователей все еще нет единого мнения о том как строить универсальные генеративки.

Всем интересующимся темой, а также желающим разобраться рекомендуется к ознакомлению.