Brain-IT: реконструкция изображений по фМРТ с помощью Brain-Interaction Transformer

Представьте, что можно восстановить картинку, которую человек только что видел, по записи активности его мозга. Именно этому посвящена работа Brain-IT, выполненная исследователями из Института Вейцмана — Романом Белием, Амитом Зальцером, Джонатаном Когманом, Навве Вассерманом и Михаль Ирани.

фМРТ даёт неинвазивное окно в работу мозга, но сигнал у неё шумный, медленный и косвенный. Поэтому реконструкция увиденного изображения остаётся очень сложной обратной задачей.

Недавние методы научились генерировать реалистичные картинки с помощью диффузионных моделей, однако им всё ещё трудно одновременно сохранять смысл сцены, расположение объектов и детали.

Brain-IT предлагает сместить акцент на взаимодействия между областями мозга. В основе метода лежит Brain-Interaction Transformer. Его ключевая идея в том, что мозг обрабатывает изображение не отдельными вокселями, а согласованной работой множества регионов.

Модель учится извлекать из фМРТ не просто локальные признаки, а связи между участками.
Сначала мозговые данные преобразуются в компактное представление, пригодное для нейросети. Затем Brain-Interaction Transformer предсказывает эмбеддинг изображения в пространстве предобученной генеративной модели. После этого диффузионная модель использует предсказанный эмбеддинг, чтобы синтезировать итоговую картинку.

Авторы проверяют подход на больших наборах данных, где людям показывали тысячи фотографий и одновременно записывали их мозговую активность. Один из главных таких наборов — Natural Scenes Dataset с естественными сценами.

По сравнению с предыдущими методами Brain-IT лучше сохраняет семантику, то есть какие объекты были на изображении и что происходило в сцене. Также точнее передаются расположение объектов и общая композиция.

При этом у технологии есть ограничения. Нужны большие объёмы данных и калибровка под конкретного человека. фМРТ пока не позволяет читать мысли в реальном времени и не работает как универсальный детектор.

Но как научный инструмент такие методы помогают лучше понять, как мозг представляет зрительную информацию. Brain-IT показывает, что ставка на взаимодействия между областями мозга может сделать реконструкцию более осмысленной и точной.

https://arxiv.org/html/2510.25976v1