Семинар: Как сделать Sign-SGD parameter-free и упростить обучение моделей

🗓 Когда: Четверг, 20 марта, 18:35
🎙 Докладчики: Даниил Медяков и Глеб Молодцов — сотрудники лаборатории BRAIn и лаборатории Федеративного обучения ИСП РАН

О чем поговорим?
Современные нейросетевые модели, такие как LLaMA и GPT, требуют огромных вычислительных ресурсов. Методы оптимизации, например Adam, усложняют ситуацию, занимая дополнительную память для хранения статистик. Sign-SGD предлагает более легковесное решение — он использует только знак градиента, снижая затраты на вычисления и ускоряя обучение. Однако проблема ручной настройки гиперпараметров остается.

На семинаре обсудим:
🔵Как Sign-SGD позволяет сократить потребление памяти и ускорить сходимость по сравнению с SGD и Adam
🔵Что такое parameter-free стратегии и как они избавляют от тонкой настройки шага обучения
🔵Как этот подход применялся для предобучения LLaMA и какие результаты удалось получить

Ссылка для подключения: https://us06web.zoom.us/j/85248717255?pwd=Py0aex6j95MmuKVCHocp5INpv6qwkn.1

Ждём всех желающих на семинаре!

P. S. Если вы не сможете присутствовать — не волнуйтесь, запись этой встречи появится на нашем Rutube-канале примерно через неделю. А пока вы ее ждете, то смотрите другие наши семинары 🙂