🧠 Архитектура важнее данных: сверточные сети имитируют мозг без обучения

Исследователи из университета Джона Хопкинса показали, что правильно спроектированные нейросети начинают работать как человеческий мозг ещё ДО обучения на данных. Это переворачивает парадигму "больше данных = лучше результат".

Суть открытия:
Исследователи сравнили три архитектуры — трансформеры, полносвязные и сверточные сети — без предварительного обучения.

Показывали им изображения и сравнивали активность с реакциями мозга людей и приматов.

Результат: только сверточные сети с правильными настройками показали паттерны активности, схожие с визуальной корой.

Трансформеры и полносвязные — нет.

Ключевые находки:
Сжатие в пространственном измерении (pooling) + расширение в измерении признаков (больше каналов) = реакции, подобные мозговым

Необученные сверточные сети показали результаты на уровне AlexNet, обученного на миллионах изображений

Эффект работает только в свёрточной архитектуре, - в других такой подход не работает.

Почему это важно:
Сейчас AI-индустрия строит датацентры размером с города и тратит сотни миллиардов на данные. А человек учится видеть на минимуме примеров.

Вывод авторов: эволюция сошлась на этом дизайне не случайно. Правильная архитектура даёт AI выгодную стартовую точку — и значительно ускоряет обучение при меньших затратах.

Практическая польза:
- Снижение стоимости обучения моделей
- Меньше энергопотребление
- Быстрее итерации в R&D
- Новое поколение энергоэффективного AI

Код и модель доступны тут: github.com/akazemian/untrained_models_of_visual_cortex

Код создаёт простую нейросеть из 5 слоёв, которая не обучается, - её веса задаются случайно один раз и остаются без изменений.
Через эту сеть прогоняют картинки, получают на выходе числовые "отпечатки" каждой картинки, а затем проверяют, насколько эти отпечатки похожи на реакции настоящего мозга (обезьян и людей) на те же картинки.

Главный трюк в том, что сеть устроена как зрительная кора: на каждом слое она сжимает пространство (из большой картинки делает маленькую) и одновременно раздувает количество признаков (вместо 3 цветов — тысячи абстрактных характеристик).

И вот как раз подбор правильной архитектуры сжатия-расширения позволяет необученной сети выдавать паттерны активности, почти неотличимые от тех, что показывают сети, обученные на миллионах изображений.

#Neuroscience #CNN #JohnsHopkins #Architecture
———
@tsingular