Какова разница между layer normalization и batch normalization?

▪️Layer normalization
Этот метод нормализует входные данные по всем признакам внутри одного образца, и потому не зависит от размера батча. Чаще всего применяется в рекуррентных нейронных сетях (RNN) и трансформерах, где размер последовательностей или батча может варьироваться.

▪️Batch normalization
Нормализует входные данные по каждому признаку с учётом статистик (среднего и дисперсии), вычисленных по всему батчу. Метод зависит от размера батча. Обычно используется в свёрточных нейронных сетях (CNN) и полносвязных слоях для ускорения обучения и стабилизации градиентов.

#машинное_обучение