👉 Почему обычно применяют dropout к выходам нейронов, а не к весам
Потому что отключение выходов нейронов (стандартный dropout) полностью исключает вклад этих нейронов в расчёты, что делает регуляризацию более надёжной и управляемой.
Альтернативный подход — занулять случайные веса (DropConnect) — может быть полезен в некоторых случаях, но он более сложен в реализации и менее распространён.
Dropout проще применить на практике и он стабильно работает во многих нейросетевых задачах.
Библиотека собеса по Data Science
Post #1015
755
- ❤ 2
- 👍 1