Что называют шумом в данных?

Шум в данных — это присутствие случайных или нерелевантных вариаций значения какого-либо признака, которые не отражают взаимосвязь этого признака с таргетом. Причинами шума в данных могут быть:

▫️ошибки измерения;
▫️аномалии;
▫️человеческий фактор.

Наличие в данных шума — проблема для алгоритмов машинного обучения. Шум может стать причиной переобучения, ведь модель будет подстраиваться под нерелевантные вариации признака, и, как только ей покажут тестовые, не зашумленные данные, начнёт плохо работать.

Для устранения шума можно использовать разные техники, например регуляризацию, отбор признаков и методы очистки данных.

#машинное_обучение