BRAIn Lab: Optimization and Beyond

▫️▫️▫️▫️▫️▫️▫️ 🌸▫️▫️

Сегодня мы отрываем от сердца и показываем вам лучшую и самую красивую часть нашей лаборатории💃.

🌷Поздравляем вас, все девушки науки и образования, с восьмым днём весны! Красоты и счастья в сердце, спокойствия от тревог и забот и только самых интересных и лучших проектов!

А в карточках делимся фактами о наших девушках!
⤵️⤵️⤵️

Sign-SGD via Parameter-Free Optimization: sign-оптимизация без ручного подбора размера шага

Сегодня разбираем статью, прошедшую на ICLR-26 и подготовленную совместно с комадной Yandex Research (исследователи пишут про принятые статьи в канале @MLunderhood).

💡 О чём работа?
Sign-SGD любят за простоту и «дешевую» память: вместо полноценных градиентов можно передавать/хранить только их знаки — удобно и для распределенного обучения, и на одном устройстве.

Но у него, как и у других классических оптимизаторов, есть большая практическая боль: эффективный шаг (stepsize) заранее не выбрать, потому что он зависит от неизвестных свойств каждой отдельной задачи — и в итоге всё упирается в тюнинг.

⚠️ Почему это проблема?
В больших моделях, например LLM, подбор learning rate — это не «пара запусков», а полноценный grid search + поиск расписания (schedule), что:
⋅ тратит GPU-часы и деньги;
⋅ делает метод тяжело переносимым между задачами/датасетами.

🎯 Что мы предлагаем?
Мы строим parameter-free Sign-SGD: алгоритм сам подстраивает шаг обучения на каждой итерации, без рестартов и без дополнительного поиска гиперпараметров.

Ключевая идея — оценивать глобальные константы задачи, от которых зависит оптимальный шаг (в частности, гладкость и начальное приближение с точки зрения функции), по текущей информации о градиентах.

🧩 Что внутри (если коротко, но по делу):
⋅ ALIAS: алгоритм на основе Sign-SGD с автоматическим выбором шага.
⋅ Сценарии: разобраны детерминированный, стохастический и распределённый алгоритмы для обучения.
⋅ Momentum-вариант (в духе Adam): чтобы подтянуть практическую эффективность, сохранив parameter-free идею.
⋅ Memory-efficient версия: вариант, который хранит только знаки прошлых градиентов для подбора шага и сохраняет адаптивность (важно для памяти).
⋅ Бонус: в экспериментах видно, что с нашим подбором шага автоматически возникает косинусное расписание, без явного cosine scheduler.

📊 Эксперименты
Проверили на задачах, где тюнинг особенно дорог:
⋅ pre-training LLaMA (130M и 350M параметров);
⋅ fine-tuning Swin Transformer (28M параметров). 
⋅ другие задачи из бенчмарка AlgoPerf.

🔥 Итог
Наши parameter-free варианты по качеству обучения сопоставимы с “затюнеными” Sign-SGD и AdamW (где lr подбирали через grid search + cosine schedule), и при этом убирают дополнительные расходы на подбор.
Это даёт примерно ~1.5× ускорение end-to-end по сравнению с запусками, где lr подбирают сеткой.

✨ Почему это важно?
⋅ Меньше ручного тюнинга → быстрее обучение на любых задачах
⋅ Sign-оптимизация остается “дешевой” по памяти → меньше затрат на GPU-ресурсы
⋅ Работает в реалистичных режимах → стохастика, распределенка

📎 Статья
💻 Код

BRAIn Lab x MBZUAI

Уже на протяжении 5 лет BRAIn Lab сотрудничает с Университетом искусственного интеллекта имени Шейха Заида в Абу Даби.

Регулярно наши студенты ездят на стажировки в университет к профессору Мартину Такачу и его коллегам, а в этом семестре мы впервые планируем принять иностранного стажера в наших стенах на Физтехе.

По итогам одной из последних стажировок, коллеги совместно с Глебом Молодцовым подготовили статью-обзор, посвященную Византийским атакам.

Предлагаем вам ознакомиться с материалом по ссылке

Абу Даби переживает сейчас неспокойный период, но несмотря на это совместная работа продолжается, и прямо сейчас в университете находятся несколько наших коллег. Поддержим их тоже 🙏

Семинар: Анализ смещенных стратегий неполного участия в федеративном обучении

🗓 Где и когда: КПМ 903, Среда, 25 февраля, 18:30 МСК
🎙 Докладчики: Дмитрий Былинкин и Наиль Баширов, сотрудники лаборатории BRAInLab

О чём пойдёт речь?
Мы обсудим постановку федеративного обучения с неполным участием устройств. Поскольку локальные выборки и коммуникационные каналы устройств в федеративных сетях неоднородны, вместо равномерного выбора участвующих клиентов обычно используются стратегии, основанные на значимости каждого клиента. Поскольку в таком случае направление, собранное с участвующих устройств, является смещенной оценкой полного градиента, возникает ряд трудностей для анализа таких схем. В частности, FedAvg не имеет гарантий сходимости даже при использовании неестественных предположений, таких как ограниченность градиентов, что создает предпосылки для разработки более совершенных фреймворков.

На семинаре мы обсудим:
🔵Как можно выбирать клиентов в федеративных сетях с неоднородными данными и системными характеристиками;
🔵Как смещенный выбор клиентов связан с компрессией коммуникаций;
🔵Как эта идея может быть использована для разработки фреймворка неполного участия с «правильными» теоретическими гарантиями;
🔵Как в дальнейшем развивать идею, комбинируя ее с другими техниками эффективного федеративного обучения.

Ссылка для подключения: https://us06web.zoom.us/j/87952961636?pwd=ywETJ3nc3Gm750hLKcbzJ23fxTRgEL.1

Приходите очно или онлайн, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

🔥 Делимся с вами разбором еще одной нашей статьи

Unified Theory of Adaptive Variance Reduction

[статья]

Стохастические методы — сердце современной оптимизации. Не теряют в скорости сходимости, но требуют гораздо меньше ресурсов, к тому же просты в имплементации: итерация имеет вид x(t+1) = xᵗ − γ gᵗ, где gᵗ - стохастический градиент.

Один из способов улучшить стохастические методы — редукция дисперсии (variance reduction, VR) — прием, позволяющий снизить разброс стохастических градиентов за счет коррекции новых аппроксимаций градиента прошлыми. Такого рода подходы перекочевали и в распределенную оптимизацию с координатными методами, где комбинируя достаточно грубые оценка градиента можно улучшать их точность. Тем не менее, теоретические значения параметров для таких методов, в первую очередь шага, используют константу гладкости задачи, которая обычно неизвестна. А для лучшего качества необходимо дополнительно настраивать шаг. В этой работе мы справляемся с этими недостатками, предлагая настройку метода в режиме реального времени, в зависимости от свойств задачи.

🧠 Что мы предлагаем?
1) Единый анализ VR без требования несмещенности. Это позволяет описать методы как для минимизации функций в виде конечных сумм, так и для распределенной оптимизации, вместе с координатными методами.
2) Parameter-free адаптивный шаг, который подбирается “на лету” по подсчитанной сумме стохастических градиентов без дополнительной настройки:

γₜ ∝ (∑_{i<t} ∥gᵢ∥²)⁻ᵅ

3) Теоремы, доказывающие сходимость данных методов. На практике оказывается, что такой адаптивный подбор шага всегда лучше, чем константный, который следует брать по теории. Более того, сходимость метода с parameter-free адаптивным шагом будет практически идентична сходимости этого же метода с затюненным параметрами.

⚙️ Где это применимо?
Единая теория и адаптивные шаги покрывают три большие семейства методов (с конкретными рецептами выбора батчей/параметров):
• Функции в виде конечной суммы: используйте L-SVRG, SAGA, PAGE, ZeroSARAH и их адаптивные версии;
• Распределенная оптимизация: правильно имплементированная компрессия градиентов удовлетворяет нашему анализу. Применяйте EF-21, DIANA, DASHA;
• Координатные методы: берите не весь градиент, а только некоторые частные производные и накапливайте ошибку с прошлых итераций. Вам помогут SEGA и JAGUAR

Смотри детали нашей работы в комментариях ⬇️

💗Одна история...
▫️▫️▫️▫️▫️▫️▫️ ▫️▫️▫️▫️▫️

В День святого Валентина говорим с лидом медицинского направления BRAIn Lab Валентином Самохиным и узнаем о том, как выбрать область науки по любви

⤵️Признайтесь и вы, какой области принадлежит ваше сердце…🫶🫶🫶