Вышла новая работа китайских исследователей: они обучили мультимодальную модель, которая отвечает на вопросы по документам и при этом показывает точный визуальный путь, откуда взялся каждый шаг ответа.

Главное новшество - формат “Chain of Evidence”.
Вместо того чтобы просто дать ответ или выделить одну область на странице, модель показывает цепочку шагов — от общего фрагмента документа до конкретной ячейки таблицы или строки текста. Каждый шаг привязан к своему боксу на изображении.

Вторая важная идея - метод обучения “Look As You Think”.
Модель обучают через RL так, чтобы она не только давала правильный ответ, но и чтобы каждый шаг её рассуждения соответствовал реальному участку документа. Для этого достаточно небольшой вручную проверенной выборки, а остальное делает обучение с подкреплением.

Как это работает:
1) Модель дообучают на небольшом наборе цепочек рассуждений, проверенных человеком.
2) Затем запускают RL: награда выдаётся только если финальный ответ верный и последний evidence-бокс совпадает с истинным (проверяется текст-image сопоставлением).

Итог: модель не просто отвечает, а показывает прозрачный, проверяемый визуальный трейс своих рассуждений.

Paper: arxiv.org/abs/2511.12003