На Data Fest 2025 30 мая Влад Голощапов (автор канала @GradientWitnesses) представил весьма занимательный доклад про геометрию лосс функции в нейронных сетях.

Данный вопрос неоднократно поднимался в разных работах, и был довольно популярной темой для исследования между 2017-2019, но несмотря на это тема не то что все еще содержит нерешенные вопросы, а является непаханым полем. И истинная геометрия лосс-поверхности (во всяком случае в рассмотренных задачах) очень далека от типичных предположений.

Доклад будет интересен как теоретикам, так и всем, увлекающимся ML и оптимизацией чего-либо.

[Запись доклада] (доклад в интервале 3:49-4:19)
[Презентация]