💬 Можно ли эффективно обучать нейросети, если их функция потерь не является выпуклой

Да, можно. Хотя невыпуклые функции потерь теоретически сложнее для оптимизации, на практике разработаны множество техник, которые позволяют успешно обучать нейросети:

🔹 Инициализация весов (например, He или Xavier) помогает избежать плохих стартовых точек.
🔹 Batch Normalization стабилизирует и ускоряет обучение.
🔹 Адаптивные оптимизаторы (как Adam, RMSProp) и моментум помогают лучше проходить через сложные участки ландшафта.
🔹 Регуляризация и схемы изменения learning rate снижают риск переобучения и ускоряют сходимость.

Кроме того, в нейросетях с большим числом параметров локальные минимумы часто оказываются «мелкими» и дают схожее качество на валидации. На практике модели с такими минимумами часто обобщаются отлично — даже несмотря на всю теоретическую «хаотичность» функции потерь.

Библиотека собеса по Data Science