Вопросы с собеседований по Data Science и ответы на них.
Учиться у нас: clc.to/GjjbkQ
По рекламе: @tproger_sales_bot
Учиться у нас: https://proglib.io/w/7dfb7235
Для обратной связи: @proglibrary_feeedback_bot
Post #483
1.09K
Что такое implicit bias?
Под этим термином понимают явление, при котором алгоритм обучения среди всех возможных моделей с нулевым эмпирическим риском выбирает определённые. Поясним на примере.
🟣 Есть линейная регрессия с квадратичной функцией потерь. Алгоритм может выбрать разные модели, которые минимизируют эту функцию потерь, но на практике он выбирает те, которые соответствуют определённым характеристикам. Например, при использовании градиентного спуска для обучения линейной регрессии, выбирается та модель, у которой коэффициенты меньше по абсолютной величине. Это происходит из-за особенностей метода оптимизации, который имеет склонность к нахождению определённых решений.
Также можно сказать, что градиентный спуск с фиксированным числом шагов «предпочитает» решения малого ранга. Это связано с тем, что данный метод имеет тенденцию находить более простые и гладкие решения, особенно в условиях ограниченного числа итераций.
Таким образом, implicit bias вносит свои коррективы в процесс выбора модели, даже если она теоретически не имеет эмпирического риска.
#машинное_обучение
Под этим термином понимают явление, при котором алгоритм обучения среди всех возможных моделей с нулевым эмпирическим риском выбирает определённые. Поясним на примере.
🟣 Есть линейная регрессия с квадратичной функцией потерь. Алгоритм может выбрать разные модели, которые минимизируют эту функцию потерь, но на практике он выбирает те, которые соответствуют определённым характеристикам. Например, при использовании градиентного спуска для обучения линейной регрессии, выбирается та модель, у которой коэффициенты меньше по абсолютной величине. Это происходит из-за особенностей метода оптимизации, который имеет склонность к нахождению определённых решений.
Также можно сказать, что градиентный спуск с фиксированным числом шагов «предпочитает» решения малого ранга. Это связано с тем, что данный метод имеет тенденцию находить более простые и гладкие решения, особенно в условиях ограниченного числа итераций.
Таким образом, implicit bias вносит свои коррективы в процесс выбора модели, даже если она теоретически не имеет эмпирического риска.
#машинное_обучение
- 👍 4
- ❤ 2
