Можно ли обучать нейросеть почти как мозг, но без классического backprop?

Новая работа Diffusing Blame проверяет жёсткое ограничение из биологии: принцип Дейла.

В реальном мозге нейрон обычно не «смешивает роли»: он либо возбуждающий, либо тормозящий. А в обычных нейросетях один и тот же юнит спокойно может иметь и положительные, и отрицательные исходящие веса. Удобно для обучения, но биологически странно.

Авторы делают dual-stream архитектуру: отдельные excitatory/inhibitory потоки и только неотрицательные матрицы весов. Знак связи задаётся не самим весом, а типом популяции.

Классический backprop требует в обратном проходе почти точные транспонированные копии forward-весов, а в биологии такого механизма не видно.

Вместо этого используется Error Diffusion: глобальный сигнал ошибки напрямую доходит до скрытых слоёв. Главная добавка статьи — modulo error routing, который расширяет ED с бинарных задач на multi-class.

Результаты:

* 96.7% на MNIST
* 61.7% на CIFAR-10
* ED-PPO протестирован в RL на Brax locomotion и Craftax
* на HalfCheetah ED-PPO даже обходит обычный BP-PPO в их эксперименте
* на более сложных задачах вроде Craftax результат слабее, но всё ещё конкурентен с DFA


Интересно, что сеть со строгим биологическим ограничением всё равно может учиться на картинках и RL-задачах без транспорта весов назад.


Paper: https://arxiv.org/abs/2606.31700

@data_analysis_ml