Что такое implicit bias?

Под этим термином понимают явление, при котором алгоритм обучения среди всех возможных моделей с нулевым эмпирическим риском выбирает определённые. Поясним на примере.

🟣 Есть линейная регрессия с квадратичной функцией потерь. Алгоритм может выбрать разные модели, которые минимизируют эту функцию потерь, но на практике он выбирает те, которые соответствуют определённым характеристикам. Например, при использовании градиентного спуска для обучения линейной регрессии, выбирается та модель, у которой коэффициенты меньше по абсолютной величине. Это происходит из-за особенностей метода оптимизации, который имеет склонность к нахождению определённых решений.

Также можно сказать, что градиентный спуск с фиксированным числом шагов «предпочитает» решения малого ранга. Это связано с тем, что данный метод имеет тенденцию находить более простые и гладкие решения, особенно в условиях ограниченного числа итераций.

Таким образом, implicit bias вносит свои коррективы в процесс выбора модели, даже если она теоретически не имеет эмпирического риска.

#машинное_обучение