Sakana AI представила PC-ALM — метод, который распространяет ошибку не через глобальный обратный проход, а с помощью локальных взаимодействий между соседними слоями.
В основе:
— predictive coding;
— локальные ошибки;
— множители Лагранжа;
— PI-регуляция.
🤩 Главный результат: PC-ALM обучает residual MLP глубиной до 1000 слоёв, почти достигая качества backpropagation на простых задачах.
Метод помогает решить проблему predictive coding: в глубоких узких сетях сигнал ошибки быстро затухает. Дополнительные переменные позволяют передавать его через всю сеть.
Почему интересно:
— обучение остаётся локальным;
— подход ближе к идеям NeuroAI;
— потенциально полезен для нейроморфного железа.
⚠️ Это пока исследовательский метод — до замены backpropagation в больших моделях далеко.
🔗 Статья
🔗 Код
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста