BRAIn Lab: Optimization and Beyond

☀️ У нас теперь есть аккаунт в X (ex-Twitter)!

И начинаем мы его с обзора нашей новой статьи “Aligning Distributionally Robust Optimization with Practical Deep Learning Needs” 💡

В посте коротко рассказываем, как мы совместили методы robust optimization с реальными задачами глубокого обучения — без потери производительности и с практическими преимуществами

🔖 Обзор в X: https://x.com/brainlab36810/status/1975072239847633102?s=46
📄 Статья: https://arxiv.org/pdf/2508.16734
💻 Код: https://github.com/brain-lab-research/ALSO

Подписывайтесь — там будет ещё больше апдейтов, идей и обзоров наших работ ⭐️

Семинар: Новый взгляд на обучение с парными и непарными данными через призму оптимального транспорта

🗓 Когда: Четверг, 2 октября, 18:35 МСК
🎙 Докладчик: Михаил Персиянов — студент второго курса аспирантуры Сколтеха, сотрудник Центра прикладного искусственного интеллекта Сколтеха

О чём пойдёт речь?
Представьте себе ситуацию: вам нужны качественные прогнозы, скажем, перевода изображений из одной модальности в другую (например, МРТ снимков мозга из одного формата в другой), но полноценных парных примеров катастрофически мало. Зато простых данных по каждому типу объектов полно. Задача звучит знакомо? Мы назовём её задачей переноса доменов при наличии парных и непарных данных, и именно она станет главным героем нашего семинара!

Но главная интрига вечера — новый способ построения лосса, который объединяет преимущества обоих типов данных: редких парных и массовых непарных. Такой подход позволит нам точнее оценивать условные вероятности перевода одного объекта в другой, минимизируя зависимость от дефицитных аннотированных данных. А главное — этот метод даёт чёткую гарантию восстановления исходного закона условного распределения!

Три главных вопроса, которые мы разберём:
🔵Как устроена задача переноса доменов и какие виды подходов существуют в зависимости от наличия данных?
🔵Как грамотная параметризация помогает получить из задачи максимизации правдоподобия принципиально новый лосс, имеющий теоретические гарантии?
🔵Зачем нужен обратный энтропийный оптимальный транспорт и как он помогает при выборе параметризации?

Дополнительно рассмотрим и обсудим:
🔸Параметризацию на основе смесей гауссиан - её теоретических гарантиях и практических ограничениях;
🔸Экспериментальные сравнения нового подхода с классическими методами и их слабостями;
🔸Пути развития метода;

Ссылка для подключения: https://telemost.360.yandex.ru/j/9200324622

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

🎉 Прошел дедлайн на ICLR - можно немного выдохнуть! В нашей лаборатории прошёл долгожданный тимбилдинг!

В субботу, 27 сентября, мы собрались в парке Мысово на квест по родному Долгопрудному. Несмотря на дождь и лужи, команды бодро бегали по городу, решали загадки и отгадывали ребусы. Задания были не технические, а скорее логические, так что пришлось включать смекалку (и иногда брать подсказки 😅)

Кто-то проходил все точки честно, кто-то искал хитрые обходные пути, а кто-то даже успел забежать в кофейню пережрать переждать дождь ☕. В итоге выиграли не только победители, которые унесли с собой вкусные призы 🍌, но и все, кто собрался ради общения и совместных приключений!

Финал был традиционно вкусный — шашлык в беседке!🔥🥩

Спасибо всем, кто пришёл и сделал этот день таким тёплым! Взяли максимум от погоды и настроения — получиась невероятно душевная и увлекательная атмосфера ✨

(не реклама) Спасибо команде @iskgame за классную игру!

Семинар: RAG fusion

🗓 Когда: Четверг, 25 сентября, 18:30 МСК
🎙 Докладчик: Анастасия Янина — сотрудница лаборатории BRAIn

О чём пойдёт речь?
Если для вашей задачи простого RAG оказывается недостаточно, на помощь приходят чуть более сложные методы, например, RAG fusion. Этот подход предлагает переформулировать запрос пользователя несколькими способами с помощью LLM, сделать по ним поиск, а затем объединить результаты, предварительно отранжировав их. Зачастую такой подход позволяет получить большую точность поиска, несильно усложнив классический RAG.

На семинаре мы:
🔵Разберем, что такое RAG fusion и чем он отличается от классического RAG и Multiquery RAG;
🔵Вспомним, что такое Reciprocal Rank Fusion и как именно он применяется при ранжировании результатов поиска;
🔵Разберем алгоритм Dual Retrieval-augmented Knowledge Fusion (DRAKE);
🔵Обсудим, как RAG fusion помогает решать задачу fact checking

Ссылка для подключения: https://telemost.360.yandex.ru/j/9200324622

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

Комментарии не нужны…

🍂 Наступила осень и новый семестр — а значит, мы возвращаемся с курсом четверговых семинаров! В этом году хотим порадовать вас большим количеством новых приглашенных докладчиков.

Начинаем уже на этой неделе: открывает наш семинар доклад исследователя Yandex Research Сергея Кастрюлина.

Семинар: Utilizing Intrinsic Knowledge of Visual Generative Models

🗓 Когда: Четверг, 18 сентября, 18:35
🎙 Докладчик: Сергей Кастрюлин — исследователь Yandex Research

О чём пойдёт речь?
Сегодня уже никого не удивить высоким качеством моделей генерации изображений и видео. Крупные технологические компании соревнуются за пальму первенства в вопросах качества и скорости генерации визуального контента. Но обязательно ли иметь огромные вычислительные ресурсы для получения качественных генераций? Оказывается, что можно существенно наращивать качество за счет правильного извлечения знаний, полученных в ходе обучения больших моделей.

На семинаре мы:
🔵Разберём как устроен процесс обучения больших генеративных моделей;
🔵Узнаем как использовать знания предобученной генеративной модели для улучшения её же качества на стадии supervised fine-tuning;
🔵Рассмотрим inference-time scaling и reasoning — техники, которые активно применяются в LLM, но пока не изучены в визуальных генеративных моделях


Ссылка для подключения: https://telemost.360.yandex.ru/j/9200324622

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

📢 Сегодня рассказываем о новой работе:

Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation

[статья]

🔬 Зачем мы это делаем

Уравнения в частных производных (PDE) описывают широкий спектр физических явлений — от обтекания крыла самолёта воздухом до распространения ударной волны в среде. Разработка эффективных численных методов для таких задач открывает путь к решению множества промышленных кейсов.

Один из современных инструментов решения PDE — Physics-Informed Neural Networks (PINN). Вместо классических методов (конечных разностей, конечных элементов) PINN минимизируют суммарные потери, соответствующие:
• уравнениям,
• граничным условиям,
• накопленным данным.

Такой подход уже демонстрирует эффективность, например, при моделировании ламинарного течения жидкости в однородной области [1]. Но есть проблема:

⚠️ Обучение PINN нестабильно

Почему? Потому что компоненты потерь конфликтуют друг с другом — особенно в задачах:
• с несколькими доменами,
• с разрывами параметров,
• с несколькими PDE и сложными граничными условиями.

🔻 Классические оптимизаторы, такие как Adam, не учитывают это разнообразие, что приводит к недообучению отдельных компонентов [2].

В ответ на это предлагаются методы взвешивания потерь, но универсального решения до сих пор нет. Например:
• текущий лидер показывает наилучшие результаты только на 22.7% задач в бенчмарке PINNacle — 22 PDE-задачи с разной физикой, геометрией и коэффициентами [3].

Как следствие при решении новой задачи приходится перебирать множество SOTA-алгоритмов, что затратно и неэффективно.

🧠 Что мы предлагаем

Мы предлагаем новую постановку задачи обучения PINN как седловую оптимизационную задачу:

min_θ max_π [L(θ, π)],

где:
• θ — параметры модели,
• π — веса, присваиваемые различным компонентам потерь.

⚙️ Как это работает

Вместо того чтобы искать минимум фиксированной функции, мы одновременно подбираем и модель, и веса потерь — так, чтобы функция была максимально сбалансированной при заданных параметрах. Это позволяет получить парето-оптимальное решение, справедливо аппроксимирующее все уравнения и граничные условия без просадок в качестве.

Предлагаем алгоритм AdaptiveBGDA (Bregman Gradient Descent-Ascent):
• Градиентный спуск по параметрам модели (θ),
• Неевклидов подъём по весам потерь (π),
• Адаптивные шаги, вдохновлённые Adam и RMSProp.

Алгоритм обладает теоретическими гарантиями сходимости и показывает высокую эффективность на практике.

📊 Результаты

Тесты на 22 задачах из PINNacle-бенчмарка показали:
• Существенное снижение конфликтов между потерями,
• SOTA-результаты для разных архитектур:
• PINN: 72.7% задач,
• gPINN [4]: 86.4% задач,
• GAAF [5]: 90.1% задач.

Особенно заметны улучшения на задачах со сложной геометрией и несколькими доменами. Например, для трехмерного уравнения Пуассона с двумя доменами и препятствиями в области:
↪️ раньше — 1.02E-1 L2RE
🔥 теперь — 4.78E-2 L2RE — даже без настройки параметров

#разборстатьи

Смотри детали сравнения нашего обучения с другими методами в комментариях ⬇️

Побывали на UAI 2025! 🎉

Недавно в солнечном Рио-де-Жанейро прошла конференция Uncertainty in Artificial Intelligence (UAI 2025) — одно из старейших и самых престижных мероприятий в области ИИ.

Наш сотрудник Глеб Молодцов @hurrricane8 представил там свою работу When Extragradient Meets PAGE: Bridging Two Giants to Boost Variational Inequalities. В статье он предложил новый алгоритм для решения вариационных неравенств:
🔹 взял классический метод ExtraGradient,
🔹 усилил его методом редукции дисперсии PAGE,
🔹 и получил гибрид, который улучшает сходимость и устойчивость алгоритмов оптимизации.

📄 Ознакомиться с работой можно по ссылке

Сам Глеб делится впечатлениями о конференции:

Очень интересный опыт: масса контактов с исследователями со всего мира — Китай, ОАЭ, Саудовская Аравия, Швейцария, США, Германия, Япония, Великобритания. Атмосфера живая, обсуждения активные — UAI действительно одно из главных мировых сообществ по темам неопределённости, устойчивости и оптимизации в ИИ.

Ну и немного о месте: Рио оказался невероятно колоритным. Город живёт футболом — жёлтые футболки сборной и красно-чёрные цвета «Фламенго» на каждом шагу. Туристические места — яркие и шумные, но стоит свернуть на 20 метров в сторону, и ты уже в фавеле с местной бандой (прямо как в «Форсаже 5»)

Поздравляем Глеба с отличным выступлением и ждём продолжения его исследований 🚀

Всем привет!

Приходим с небольшим изменением вводных - время семинара «Масштабная инвариантность: секретное оружие оптимизации», который пройдет в понедельник 14 июля, поменялось на 12:00

Очень ждем вас на встрече! 💕

В ближайший понедельник сотрудник лаборатории Андрей Веприков проведет совместный семинар с Т-Банком! Ссылка открыта для всех желающих 💙

Семинар: Масштабная инвариантность: секретное оружие оптимизации

🗓 Когда: Понедельник, 14 июля, 12:00 МСК
🎙 Докладчик: Андрей Веприков — студент 5 курса ФПМИ, сотрудник лаборатории BRAIn

О чём пойдёт речь?
В мире оптимизации есть магическая идея, о которой почти не говорят, — scale-invariance. Что такое “scale”? Это когда вы берёте данные и просто растягиваете их, например, умножаете на константу (или, в более общем случае, делаете аффинное преобразование). Казалось бы, с точки зрения сути обучения задача осталась той же, но многие привычные методы оптимизации тут же начинают вести себя странно: шаги становятся слишком большими или слишком маленькими, сходимость ломается, а результат зависит от того, в каких единицах вы всё считаете. Но есть алгоритмы, которые будто бы не замечают, что кто-то подкрутил ручку масштаба — и вот о них и пойдёт речь.

На семинаре обсудим три ключевых сюжета:
🔵Что особенного в методе Ньютона и почему он устойчив к аффинным преобразованиям;
🔵Как строить scale-invariant методы: нормализация градиентов, адаптивные шаги, предобусловливание и др.;
🔵Современные подходы: что обсуждают на передовой, зачем это нужно большим моделям и как всё это связано с LoRA-дообучением

Дополнительно поговорим:
🔸Почему Adam может не справиться, если параметры модели "живут" в разных масштабах;
🔸Как геометрия параметров влияет на обучение;
🔸Почему scale-invariance — это не просто красиво, но и практично

Ссылка для подключения: https://tbank.ktalk.ru/bawc21y6kvz5z5jdwwrs

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

Напоминаем, что уже начался семинар «Reinforcement Learning с гарантиями» с Павлом Осиненко

Подключиться можно по ссылке: https://us06web.zoom.us/j/85248717255?pwd=Py0aex6j95MmuKVCHocp5INpv6qwkn.1

Будем рады видеть вас на встрече! 💕

Семинар: Reinforcement Learning с гарантиями

🗓 Когда: Четверг, 3 июля, 16:30
🎙 Докладчик: Павел Осиненко — доцент Центра цифровой инженерии Skoltech, специалист в области автоматического управления и глубокого обучения

О чём пойдёт речь?
Павел расскажет о подходе CALF (Critic as Lyapunov Function), который объединяет методы устойчивости динамических систем с алгоритмами RL и даёт строгие гарантии стабильности поведения агента.

На семинаре обсудим:
🔵 Как value function может играть роль функции Ляпунова
🔵 Почему нейросети могут нарушать свойства устойчивости
🔵 Как механизм запоминания и политика отката помогают сохранить стабильность
🔵 В чём уникальность CALF: онлайн-обучение без модели среды с формальными гарантиями
🔵 Расширения метода: мультиагентные сценарии без отката

Ссылка для подключения: https://us06web.zoom.us/j/85248717255?pwd=Py0aex6j95MmuKVCHocp5INpv6qwkn.1

Приходите, будет интересно!

P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!

Сегодня расскажем о нашей новой работе:

Thinking like a CHEMIST: Combined Heterogeneous Embedding Model Integrating Structure and Tokens

[статья]

🔬 Зачем мы это делаем

В химии для представления молекул часто используют строковые форматы, например SMILES. Например, для кофеина SMILES-запись выглядит так:

C[n]1cnc2N(C)C(=O)N(C)C(=O)c12



То есть это буквально текстовое представление, и языковые модели работают с ним как с обычным текстом без помощи маскирования, без дополнительных эвристик [1].

Такие форматы удобны для хранения и передачи, но плохо отражают химическую структуру и свойства молекул. Большинство языковых моделей, применяемых в химии, обучены на SMILES-кодировках с использованием BPE-токенизации или её разновидностей — то есть статистических подходов к токенизации [2], [3].

⚠️ В связи с недостатками SMILES как представления данных для обучения, такие подходы не раскрывают полного потенциала языковых подходов в химии.

🧠 Что мы предлагаем

Мы разработали архитектуру, в основе которой:

• Химически обоснованное разбиение молекул на подструктуры (вместо классической data-driven токенизации),
• Сочетание языковых моделей и графовых нейросетей, объединяющее преимущества обоих подходов.

🔍 Основная идея — приближённое моделирование того, как химик воспринимает молекулу: как набор фрагментов с определёнными свойствами и взаимодействиями.

🧪 Предлагаемый подход

1. Разбиение молекулы на подструктуры с помощью BRICS-разбиения — эвристического метода, учитывающего принципы ретросинтетического анализа.
➕ BRICS разбивает молекулу по химически значимым связям на "кирпичики", используемые в синтезе новых соединений (см. изображение).

2. Для каждой подструктуры рассчитываем набор дескрипторов — численных признаков, описывающих:
• структуру,
• физико-химические свойства,
• топологические характеристики.

3. Передаём последовательность дескрипторов в языковую модель RoBERTa.

4. Параллельно строим граф молекулы и обучаем одну из моделей:
• GCN
• GIN
• Graphormer
с маскированием атомов и связей.

5. Совмещаем два представления (графовое и текстовое) через контрастивное обучение, которое выравнивает эмбеддинги графа и текста в общем латентном пространстве.

✅ Почему это работает

✔️ Дескрипторы дают химически обоснованные признаки, в отличие от случайных статистических токенов SMILES.
✔️ BRICS-разбиение соответствует интуиции химиков: оно оперирует синтетическими блоками.
✔️ Объединение двух каналов (графа и текста) позволяет компенсировать недостатки каждого:
• графовая модель хорошо захватывает структуру,
• языковая — улавливает сложные зависимости.

📊 Результаты

📈 В задачах классификации и регрессии (QSAR) наша модель значительно превосходит существующие подходы, включая MolFormer-XL, несмотря на меньший объём данных и времени обучения.

🤖 Даже простые модели, такие как XGBoost и LightGBM, обученные на наших дескрипторах, показывают впечатляющие результаты — это подтверждает качество предлагаемого представления молекул.

#разборстатьи