🤖 Как объединить десятки экспертных моделей в одну универсальную- без дообучения и утечки данных?

Исследователи из CAS, HKISI-CAS, Sun Yat-sen и Peking представили новый подход: RobustMerge — метод бес-тренировочного, параметро-эффективного объединения моделей.

Проблема:
Каждая экспертная модель умеет своё — одна для OCR, другая для зрения, третья для диалога, четвёртая для кода.
Но как собрать их в одно универсальное MLLM так, чтобы:

- не было утечки данных
- не пришлось обучать всё заново
- не потерялась точность
- модель не развалилась из-за конфликтующих весов

🧠 Что делает RobustMerge
Метод сохраняет *direction robustness* - устойчивость направлений веса — с помощью двух ключевых техник:

- low-rank analysis — выделяет главное направление знаний
- cross-task normalization — нормализует вклад разных задач так, чтобы одна модель не «забивала» другую

Итог:
Разные специализированные модели становятся одним универсальным MLLM, который продолжает хорошо работать по всем направлениям и даже улучшает обобщение.

🚀 Почему это важно
Это решает главную боль индустрии: как собрать десятки экспертов в единую систему без огромных затрат на переобучение и без риска смешать приватные данные.

🔬 Подробности
Paper: arxiv.org/abs/2502.17159
Code: github.com/AuroraZengfh/RobustMerge