Meta выпустила API к мозгу. TRIBE v2 предсказывает нейронную активность точнее МРТ.

Взяли три энкодера - звук, видео, текст - и научили трансформер отображать это в активность ~20к точек на коре. Модель работает стабильнее реального МРТ. Почему? Потому что индивидуальный скан шумный, а TRIBE выдает усредненный чистый сигнал. Сейчас объясняет ~54% вариации, в отдельных зонах до 80%.

Чем больше модель и данных, тем точнее предсказание. Это значит, следующие версии могут выйти за пределы самого fMRI по качеству сигнала.

Пока это исследовательская штука, но впереди нас ждет искусственный макет восприятия, который работает лучше биологического оригинала.

Сайт проекта.