The Forward-Forward Algorithm: Some Preliminary Investigations

Цель этой статьи — представить новую процедуру обучения для нейронных сетей и продемонстрировать, что она работает хорошо на нескольких небольших задачах и заслуживает внимания для дальнейшего изучения. Алгоритм Forward-Forward заменяет метод прямого распространения и метод обратного распространения двумя прямыми проходами, один с положительными (то есть реальными) данными, а другой с отрицательными данными, которые сгенерированы самой сетью. Forward-Forward не требует вычисления функции потерь по отношению к параметрам сети. Вместо этого каждый шаг оптимизации может выполняться локально, а веса каждого слоя могут обновляться сразу же после того, как слой отработал.

git clone https://github.com/nebuly-ai/nebullvm.git
cd nebullvm/apps/accelerate/forward_forward

🖥 Github: https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/forward_forward

⭐️ Paper: https://arxiv.org/abs/2212.13345v1

⏩ Dataset: https://paperswithcode.com/dataset/cifar-10

👉 @bigdata_1