Как label smoothing изменяет ландшафт функции кросс-энтропии и почему это улучшает обобщающую способность модели

Label smoothing заменяет строгое one-hot представление меток, уменьшая вероятность правильного класса с 1.0 до (1 — epsilon) (например, 0.9) и равномерно распределяя (epsilon) между остальными классами. Это снижает излишнюю уверенность модели в предсказаниях, что улучшает ее способность к обобщению и уменьшает переобучение.

Основные эффекты label smoothing:
🔹 Смягчение штрафа за ошибки — градиенты становятся более стабильными, что предотвращает резкие скачки обучения.
🔹 Снижение переуверенности модели — уменьшает вероятность резких предсказаний (например, 0.99 vs. 0.01).
🔹 Улучшение обобщающей способности — модель не запоминает данные, а учится выявлять более общие закономерности.

Label smoothing активно используется в передовых моделях для обработки изображений и текста (например, в Transformers) и является простой, но эффективной техникой регуляризации.

Библиотека собеса по Data Science