🌟 MM-EUREKA: Мультимодальный ризонинг.

MM-Eureka — разработка Шанхайской лаборатории ИИ, которая совершила шаг вперед в решении задач, требующих анализа изображений и текста. В отличие от рядовых VLM, эта модель сочетает RL с мультимодальным мышлением, имитируя человеческую способность, схожую с «моментами озарения». Авторы заявляют, что MM-Eureka не только обладает повышенной точностью ответов, но и учится перепроверять визуальные данные с помошью рассуждений.

MM-Eureka суперэффективна: даже при обучении на 0,05% данных от аналогов, модель превзошла их в тестах на математическую логику и анализ графиков. Например, в задачах уровня школьной программы она показала рост точности на 8,2%. При этом тестовая модель, не имея явных инструкций, научилась «переосмысливать» изображения — заново оценивать геометрические схемы для поиска ошибок.

В основе MM-Eureka - модели InternVL2.5 с параметрами 8 и 38 млрд. Архитектура объединяет механизмы внимания для анализа визуальных паттернов и языковые слои для генерации ответов.

Обучение строилось на алгоритме RLOO (REINFORCE Leave-One-Out), который снижает шум в оценках преимуществ, и PPO-clip, предотвращающем резкие изменения политики. Авторы отказались от ограничений KL-дивергенции, чтобы не сдерживать «творческий» поиск решений. Функция вознаграждения включала проверку точности ответов через Math-Verify и соблюдение структуры вывода, чтобы усилить логическую строгость.

▶️В релиз вошли 2 модели, датасет и код для самостоятельных изысканий в обучении:

🟢MM-Eureka-8B
🟢MM-Eureka-Zero-38B
🟠MM-Eureka-Dataset


📌Лицензирование: Apache 2.0 License.


🟡Набор моделей
🟡Техотчет
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Reasoning #MMEUREKA