Что такое функции активации и как они различаются по вычислительной сложности, разреженности и поведению градиента

Функция активации нейрона определяет выходной сигнал, который определяется входным сигналом или набором входных сигналов.

▪️ Sigmoid
Преобразует входы в диапазон 0-1 (бинарная классификация).
Проблемы: исчезающие градиенты при экстремальных значениях.
Разреженность: низкая.

▪️ Tanh
Преобразует входы в диапазон -1 до 1.
Проблемы: исчезающие градиенты, но менее выраженные, чем у сигмоиды.
Разреженность: средняя.

▪️ ReLU (Rectified Linear Unit)
Устанавливает отрицательные значения в 0, оставляя положительные.
Проблемы: «умирающий ReLU» — нейроны становятся неактивными.
Разреженность: высокая.

▪️ Leaky ReLU
Модификация ReLU с малым наклоном для отрицательных значений.
Проблемы: «умирающий ReLU» минимизируется.
Разреженность: ниже, чем у ReLU.

Библиотека собеса по Data Science