На какие слои лучше накладывать L1/L2-регуляризацию в глубокой сети

Не все слои одинаково выигрывают от регуляризации. Основные моменты:
➡️ Входной слой: L1 может помочь в отборе признаков, зануляя веса для нерелевантных фич.
➡️ Скрытые слои: полезно для широких dense-слоёв, чтобы снизить сложность и переобучение.
➡️ Выходной слой: регуляризация на финальных весах может немного улучшить обобщающую способность, но не решает проблему, если ранние слои сильно переобучены.
➡️ CNN: регуляризация фильтров может «обрезать» целые каналы, ускоряя сеть. Для dense-слоёв чаще возникает разреженность весов.

Подводный камень: одинаковый коэффициент λ для всех слоёв может быть неэффективным. Ранние слои (низкоуровневые признаки) часто менее склонны к переобучению, чем глубокие.

🐸 Библиотека собеса по Data Science