Исследователи AMD представили метод, который позволяет добавить способность к рассуждению в мультимодальные модели - просто и дешево. Новый подход, названный DRIFT, достигает почти тех же результатов, что и сложные методы, используя лишь около 4 000 примеров и два часа дообучения.

Главная идея: вместо объединения весов языковой и визуальной моделей, что часто ломает баланс, DRIFT вычисляет “направление рассуждения” — разницу между весами сильного текстового reasoner-а и мультимодальной модели. Во время обучения градиенты направляются в эту сторону, усиливая логические способности, но сохраняя навыки восприятия изображений.

Метод не требует дополнительных модулей: направление вычисляется один раз, хранится на CPU и применяется для коррекции выбранных слоёв. В результате модель учится не только видеть, но и логически связывать шаги, исправляя случаи, где восприятие верное, но вывод — ошибочный.

Исследование: arxiv.org/abs/2510.15050