Awesome-Large-Multimodal-Reasoning-Models

Открытый проект на GitHub предоставляет нам полную панораму развития мультимодальных моделей рассуждения.

Исследователи из Харбинского политехнического университета (Шэньчжэнь), проанализировав более 550 научных публикаций, построили четырёхэтапную дорожную карту развития — от базовых модулей до продвинутого рассуждения. Эта схема наглядно демонстрирует эволюцию мультимодальных моделей рассуждения: от восприятия, управляемого данными, через языково-центричное рассуждение, к нативному мультимодальному рассуждению.

🔸Систематизация четырёхэтапной эволюции мультимодальных моделей рассуждения (восприятие-центричное, краткосрочное языково-центричное, долгосрочное языково-центричное, нативное мультимодальное рассуждение);

🔸Полный сбор соответствующих датасетов и бенчмарков, охватывающих четыре ключевых направления: мультимодальное понимание, генерация, рассуждение и планирование;

🔸Анализ экспериментальных характеристик и пределов возможностей передовых моделей, таких как OpenAI-o3 и o4-mini;

🔸Обсуждение будущего развития и технологических перспектив нативных мультимодальных моделей рассуждения (N-LMRMs);

🔸Подробная сравнительная таблица моделей, включающая репрезентативные работы для каждого этапа и их особенности;

🔸Наглядные диаграммы, облегчающие понимание эволюционных связей между различными типами моделей.

Этот ресурс представляет собой весьма всестороннее обобщение, которое хорошо помогает понять траекторию развития крупных AI-моделей. Определённо стоит ознакомиться

⭐️ Stars: 192

➡️ Cсылка на GitHub

📱 @git_developer