Семинар: Масштабная инвариантность в обучении нейросетей

🗓 Когда: Четверг, 13 марта, 18:35
🎙 Докладчик: Максим Кодрян — к. ф.-м. н., постдок в лаборатории MLBio Lab (EPFL), лауреат премии Яндекса им. И. Сегаловича (2022)

О чем поговорим?
Масштабная инвариантность — это свойство нейросетей, при котором изменение масштаба параметров не влияет на предсказания модели. Это ключевой феномен, возникающий при использовании нормализации (Batch Norm и др.), который сильно влияет на процесс обучения и структуру функции потерь.

На семинаре Максим расскажет:
🔵Как масштабная инвариантность меняет динамику обучения
🔵Какие режимы обучения на сфере позволяют глубже понять структуру ландшафта потерь
🔵Как это знание можно применять на практике для поиска лучших минимумов

Ссылка для подключения: https://us06web.zoom.us/j/85248717255?pwd=Py0aex6j95MmuKVCHocp5INpv6qwkn.1

Приходите, будет интересно!

P. S. Если вы не сможете присутствовать — не волнуйтесь, запись этого семинара появится на нашем Rutube-канале примерно через неделю. А пока вы ее ждете, можете посмотреть другие наши семинары 🙂