BRAIn Lab: Optimization and Beyond

Пришли результаты ICML

Мир ресерча в области ML и AI - постоянные американские горки.
🎢Пишешь статьи, подаешь, ждешь результат, который может быть непредсказуем.

В этот раз на конференцию от нашей лаборатории прошли 4 статьи😇:

• One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining
• From Optimization to Generalization under Heavy-Tailed Data: The Role of Gradient Clipping
• Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling
• Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity

Поздравляем ребят! Позже вернемся с подробными разборами статей.

😐Уже неудивительно, что некоторые статьи, получившие хорошие отзывы и оценки на ревью, оказались в итоге со статусом реджект.

А мы снова покупаем билет на этот аттракцион, следующий - NeurlPS.

А как у вас дела с ICML?

Итоги ICLR 2026 ⛵️

Конференция подошла к концу, что мы успели за это время:

✋ Увидеться со старыми знакомыми, познакомиться с новыми людьми, вдохновиться исследованиями и покринжевать с некоторых
💡 Погрузиться в атмосферу, где чувствуешь себя частью глобального ресерча, науки и международных компаний
📍 Попутешествовать - мы поднимались к Христу, гуляли по Рио, купались в океане, кто-то из нашей группы успел слетать в Аргентину, а кто-то ещё добавил к ней Уругвай
🥳 Отпраздновать день рождения Александра Николаевича
📘 Выучить пару слов на португальском и испанском
✏️ Вдохновиться на следующие исследования и статьи

🔖 Впечатления участников о поездке

Александр Безносиков:

«Размер конференции напрягает: слишком большой поток работ, невозможно по достоинству оценить все, но найти 5-10 жемчужин для себя можно. Ну и не стоит забывать, что любая конференция - это возможность обогатиться не только по сутевой части, но и культурно».

Валерий Парфенов:

«Масштаб ощущается, но к нему быстро привыкаешь, а вот энергию и теплоту сообщества замечать не перестаёшь.
Oral переоценены (по крайней мере десятиминутные), постеры гараздо полезнее - предметное общение с автором в разумном темпе».

Даниил Медяков:

«Я сравниваю ICLR с AAAI конференцией, на которой тоже был в этом году. Заметил, что координальных отличий два: выступать с постером на ICLR намного приятнее - по одной из работ было множество заинтересованных людей и в целом атмосфера на постерных сессиях намного живее. Oral выступления, к сожалению, снова разочаровали. В целом видно, что конференция немного выше уровнем, чем AAAI.”

Obrigado за внимание, увидимся на разборах статей!

BRAIn Lab: Optimization and Beyond pinned a photo

🎓 От студента до доктора наук за 9 лет 😳

Поздравляем руководителя лаборатории BRAIn Lab Александра Безносикова с защитой докторской диссертации и присвоением ученой степени доктора физико-математических наук🎉👏

📚Тема дисертации Александра:

О некоторых продвинутых сюжетах теории сложности численных методов оптимизации: распределенные и стохастические постановки, обобщение на более широкие классы задач

Это результат...чего-то, чему мы не можем дать рационального объяснения 👀✨

🏆Путь к докторской:

📍В 2022 году Александр защитил кандидатскую в первый год аспирантуры;
📍В 2023 года получил премию Yandex ML Prize и "Лидеры ИИ";
📍В 2024 году открыл лабораторию базовых исследований в области искусственного интеллекта на базе МФТИ, ИСП РАН и УИ;
📍В 2025 году в возрасте 27 лет защитил докторскую диссертацию

Сегодня лаборатория насчитывает уже 100 человек, все из которых заняты в научной и преподавательской деятельности в МФТИ, ИСП РАН, УИ, МГУ, ЦУ и других вузах! 🎓🔬

Безмерно гордимся тем, что являемся частью команды такого сильного ученого и работаем под его руководством! 💙

Приоткрываем путь Александра в науку и желаем прорывных идей, много вдохновения для новых открытий! 🚀

ICLR 2026 стартует уже завтра! Разбираем нашу статью с конференции

Сходимость Clipped-SGD с высокой вероятностью по последней точке: как применять технику потенциалов с интеграцией horizon-free параметров

[статья]

💡 О чем работа?
Стохастический градиентный спуск с клиппингом (Clipped-SGD) был широко исследован в течение последних пяти лет. Было построено множество анализов сходимости такого метода с высокой вероятностью в различных сетапах и с разными модификациями, но они “страдают” по следующим двум пунктам:
1️⃣ Если и показывается сходимость, то только эргодическая, т.е. в среднем по траектории обучения. Это означает, что “по-хорошему” мы должны в качестве итоговых весов модели брать усреднение этих же весов по всем итерациям (на практике так никто, очевидно, не делает).
2️⃣ Теоретические параметры зависят от общего количества итераций. На практике оно нам неизвестно; это ведет к невозможности подбора параметров исходя из теории.

В своей статье мы показываем, что для выпуклого сетапа можно решить эти проблемы одновременно.

🎯 Что мы предлагаем?
1️⃣ Ключевая идея — Potential-based proof
Мы показываем, что основываясь на аккуратном конструировании функции Ляпунова (в современной иностранной литературе это называется потенциал) можно вывести гарантии сходимости для последний точке.
2️⃣ Расширенная техника доказательства:
Сравнивая с существующими анализами сходимости, мы формулируем следующие нововведения:
🔵 Более точный подбор параметра клиппинга — сходимость по последней точке требует аккуратного контроля клиппинга, отличающегося от всех предыдущих работ – его необходимо брать меньше, нежели предполагается изначально
🔵 Обновленная индукционная схема — предыдущие доказательства строились на том, что мы не выходим за компакт с необходимой вероятностью. Теперь же мы позволяем этому компакту расширяться с логарифмической скоростью, что позволяет аккуратно построить индукционный переход.
🔵 Контроль вероятности ошибки (“расходимости”) — ранее, в случае “знания” общего количества итераций, вероятность ошибки контролировалась конечной суммой. В случае horizon-free подхода, необходимо модифицировать анализ накопления ошибки через контроль бесконечным рядом.
3️⃣ Дополнительная теория — “простой” механизм построения оценки сходимости по математическому ожиданию. В силу ограниченности шага (из-за градиентного клиппинга) мы можем напрямую вывести сходимость в среднем.

🧪 Практика: зачем нужны такие теоретические гарантии?
На практике наша цель довольно ясна:
🔵 Хочется запускать обучение модели всего лишь один раз, зная, что модель была хорошо обучена.
🔵 Запуская обучение моделей, мы не хотим проводить дополнительных манипуляций с весами из суммарной траектории – это означает, что нужна сходимость по последней точке.

В качестве простых экспериментов мы предоставляем исследование на i) логистической регрессии; ii) квадратичной задаче; iii) статистической логистической регрессии.

⚠️ Ключевые результаты
🔵 Продвинутый last-iterate анализ сходимости с высокой вероятностью для метода с клиппингом.
🔵 Прямой вывод оценок сходимости по математическому ожиданию.

📎 Подробности, алгоритмы, теоремы и эксперименты — в статье

#разборстатьи