Нейросеть научилась видеть то, что видите вы, по снимку мозга

Исследователи из израильского Института Вейцмана создали ИИ, который по данным МРТ восстанавливает картинку, на которую смотрит человек.

Декодер работает в две ветки:
— одна определяет структуру: где какие цвета и как всё расположено
— другая распознаёт содержание, например «бананы на тарелке»
Потом обе подсказки уходят в диффузионную модель, и она рисует итоговое изображение.

Чтобы настроить систему на нового человека, хватает часа сканирования вместо прежних 40. При цене МРТ $600–1000 в час разница заметная.

Обучали модель на данных восьми добровольцев, каждый посмотрел около 9000 картинок. Примерно 70% обучающих данных были синтетическими.

Ошибки пока случаются: торт превращается в бутерброды, а собака в ванной становится козой похожего цвета.

Дальше авторы хотят восстанавливать видео, звук, воображаемые образы и даже сны. Похожий подход уже пробуют перенести на ЭЭГ, то есть на шапочки с электродами и устройства в форме наушников.

Медикам это поможет общаться с парализованными пациентами. Но эксперты предупреждают: так компании смогут вытаскивать информацию из мозга без согласия человека.

_______
Источник | #black_triangle_tg
#хроникицифровизации
@F_S_C_P

-------
Поддержи канал подпиской
-------