В ближайший понедельник сотрудник лаборатории Андрей Веприков проведет совместный семинар с Т-Банком! Ссылка открыта для всех желающих 💙

Семинар: Масштабная инвариантность: секретное оружие оптимизации

🗓 Когда: Понедельник, 14 июля, 12:00 МСК
🎙 Докладчик: Андрей Веприков — студент 5 курса ФПМИ, сотрудник лаборатории BRAIn

О чём пойдёт речь?
В мире оптимизации есть магическая идея, о которой почти не говорят, — scale-invariance. Что такое “scale”? Это когда вы берёте данные и просто растягиваете их, например, умножаете на константу (или, в более общем случае, делаете аффинное преобразование). Казалось бы, с точки зрения сути обучения задача осталась той же, но многие привычные методы оптимизации тут же начинают вести себя странно: шаги становятся слишком большими или слишком маленькими, сходимость ломается, а результат зависит от того, в каких единицах вы всё считаете. Но есть алгоритмы, которые будто бы не замечают, что кто-то подкрутил ручку масштаба — и вот о них и пойдёт речь.

На семинаре обсудим три ключевых сюжета:
🔵Что особенного в методе Ньютона и почему он устойчив к аффинным преобразованиям;
🔵Как строить scale-invariant методы: нормализация градиентов, адаптивные шаги, предобусловливание и др.;
🔵Современные подходы: что обсуждают на передовой, зачем это нужно большим моделям и как всё это связано с LoRA-дообучением

Дополнительно поговорим:
🔸Почему Adam может не справиться, если параметры модели "живут" в разных масштабах;
🔸Как геометрия параметров влияет на обучение;
🔸Почему scale-invariance — это не просто красиво, но и практично

Ссылка для подключения: https://tbank.ktalk.ru/bawc21y6kvz5z5jdwwrs

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!