❓ Зачем в нейронных сетях используется техника label smoothing

Label smoothing — это техника регуляризации, при которой вместо подачи на выход модели «жестких» меток (например, [0, 0, 1, 0]) используют «размягчённые» метки (например, [0.01, 0.01, 0.96, 0.01]).

Это снижает переуверенность модели в своих прогнозах: модель учится не делать слишком уверенные предсказания даже на обучающих данных.

Главные преимущества:
📝 Улучшение обобщающей способности (меньше переобучение).
📝 Меньшая склонность к переуверенности в своих ошибках.
📝 Иногда помогает добиться более высокой точности, особенно на задачах классификации с большим числом классов.

Техника особенно эффективна, когда есть шум или множество похожих классов.

Библиотека собеса по Data Science