💬 Как инициализировать параметры в логистической регрессии, и важно ли это
Частый вариант: веса
𝑤
w инициализируют нулями или малыми случайными значениями.
🔎 Почему работает: отрицательный логарифм правдоподобия в логистической регрессии — выпуклая функция, поэтому оптимизация сходится к глобальному минимуму независимо от стартовой точки.
🔎 Когда стоит подумать о случайной инициализации: при огромном числе признаков или сильно скоррелированных признаках случайная инициализация может помочь избежать вырожденных конфигураций.
🙂 Для стандартных задач нулевая инициализация чаще всего достаточно хороша; проблем с глобальным минимумом не возникает.
🐸 Библиотека собеса по Data Science
Post #1601
307