Семинар: Natural Gradient Descent — геометрия оптимизации и аппроксимации второго порядка

🗓 Когда: Четверг, 27 марта, 18:35
🎙 Докладчик: Александр Шестаков — студент 5 курса магистратуры МФТИ, сотрудник лаборатории BRAIn

О чем поговорим?
Natural Gradient Descent (NGD) — это метод оптимизации, учитывающий геометрическую структуру пространства параметров. Он тесно связан с методами второго порядка, такими как метод Ньютона, но при этом не требует вычисления полного гессиана, что делает его более эффективным на практике. NGD помогает точнее находить оптимальные параметры модели, особенно в вероятностных подходах.

На семинаре обсудим:
🔵Как NGD аппроксимирует метод Ньютона и какие у него оценки сходимости
🔵Как точность аппроксимации градиента влияет на эффективность метода
🔵Применение NGD для обучения трансформера RoBERTa на датасете CoLA — что показывают эксперименты?

Ссылка для подключения: https://us06web.zoom.us/j/85248717255?pwd=Py0aex6j95MmuKVCHocp5INpv6qwkn.1

Приходите, будет интересно!

P. S. Если вы не сможете присутствовать — не волнуйтесь, запись этой встречи появится на нашем Rutube-канале примерно через неделю. А пока вы ее ждете, то смотрите другие наши семинары 🙂