🤔 Можно ли задать одинаковые веса всем скрытым нейронам

На практике — почти никогда. В современных нейросетях это мешает обучению: все нейроны начинают вычислять одно и то же, градиенты одинаковы, и сеть не учится различать признаки. Такое поведение разрушает всю идею глубокого обучения.

Исключения есть:
• Смещения (bias) часто инициализируют нулём или 0.01
• Параметры нормализации (например, γ в BatchNorm) могут начинаться с 1

Но сами веса сети — всегда инициализируются случайно (например, Xavier или He), чтобы нарушить симметрию и позволить сети учиться.

Библиотека собеса по Data Science