Meta* представили TRIBE v2 – открытый симулятор человеческого мозга

Это модель, которая предсказывает, как будет активироваться мозг человека, когда он что-то видит, слышит или читает. То есть TRIBE v2 – это искусственный макет того, как человек воспринимает мир. Типа API к биологическому мозгу ☕️

Самое удивительное: TRIBE v2 работает точнее МРТ(fMRI). То есть если измерить мозговую активность одного человека, она в большинстве случаев будет менее точно отображать типичную (усредненную по группе) реакцию мозга на раздражитель, чем моделька. Все дело в том, что индивидуальный МРТ довольно шумный, а TRIBE v2 предсказывает более стабильный сигнал для самых разных ситуаций.

Под капотом при этом нет ничего особенного: просто мультимодальная сборка из трех разных энкодеров для звука, видео и текста (для видео кстати используют V-JEPA 2) + трансформер, который учится отображать эмбеддинги в нейронную активность ~20к точек на коре мозга.

Есть еще интересный момент со Scaling Laws. Где трансформер – там и масштабирование, и тут тоже оказалось, что качество предсказания мозга растет с размером модели и данных.

А это значит, что у подхода большое будущее. Сейчас модель объясняет ~54% вариации сигнала, в отдельных областях – до 80%. Это уже довольно много, и даже близко к верхнему пределу fMRI как измерения. Но получается, что благодаря scaling laws следующие модели могут не просто упираться в этот предел, а фактически выйти за него в смысле восстановления более чистого сигнала, чем дает сам fMRI.

Демо, статья, код и сама модель здесь: aidemos.atmeta.com/tribev2/