🤔 Почему в нейронных сетях нельзя инициализировать веса нулями?

1. Симметричность: При инициализации весов нулями все нейроны в слое начинают обучение одинаково, что делает их идентичными.
2. Отсутствие обучения: Градиенты для всех нейронов слоя будут одинаковыми, из-за чего они не смогут различаться и обучаться.
3. Решение: Инициализация случайными значениями разрывает симметрию, позволяя нейронам обучаться независимо друг от друга.
Стандартные методы, такие как He или Xavier инициализация, обеспечивают оптимальный начальный размах весов.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний