💬 Чем отличаются BatchNorm, LayerNorm и InstanceNorm

1️⃣ BatchNorm — нормализует по batch-измерению (и пространственным координатам в CNN) для каждого признака. Хорошо работает при больших батчах, но нестабилен при очень малых.

2️⃣ LayerNorm — нормализует по всем признакам внутри одного сэмпла. Часто используется в RNN и трансформерах, так как не зависит от размера batch.

3️⃣ InstanceNorm — нормализует каждый канал отдельно для каждого примера. Популярен в задачах style transfer, где важна независимость нормализации внутри одного изображения.

4️⃣ GroupNorm — компромисс: делит каналы на группы и нормализует внутри группы.

🐸 Библиотека собеса по Data Science