Enhancing Stability of Physics-Informed Neural Network Training Through Saddle-Point Reformulation
[статья]
🔬 Зачем мы это делаем
Уравнения в частных производных (PDE) описывают широкий спектр физических явлений — от обтекания крыла самолёта воздухом до распространения ударной волны в среде. Разработка эффективных численных методов для таких задач открывает путь к решению множества промышленных кейсов.
Один из современных инструментов решения PDE — Physics-Informed Neural Networks (PINN). Вместо классических методов (конечных разностей, конечных элементов) PINN минимизируют суммарные потери, соответствующие:
• уравнениям,
• граничным условиям,
• накопленным данным.
Такой подход уже демонстрирует эффективность, например, при моделировании ламинарного течения жидкости в однородной области [1]. Но есть проблема:
⚠️ Обучение PINN нестабильно
Почему? Потому что компоненты потерь конфликтуют друг с другом — особенно в задачах:
• с несколькими доменами,
• с разрывами параметров,
• с несколькими PDE и сложными граничными условиями.
🔻 Классические оптимизаторы, такие как Adam, не учитывают это разнообразие, что приводит к недообучению отдельных компонентов [2].
В ответ на это предлагаются методы взвешивания потерь, но универсального решения до сих пор нет. Например:
• текущий лидер показывает наилучшие результаты только на 22.7% задач в бенчмарке PINNacle — 22 PDE-задачи с разной физикой, геометрией и коэффициентами [3].
Как следствие при решении новой задачи приходится перебирать множество SOTA-алгоритмов, что затратно и неэффективно.
🧠 Что мы предлагаем
Мы предлагаем новую постановку задачи обучения PINN как седловую оптимизационную задачу:
min_θ max_π [L(θ, π)],
где:
• θ — параметры модели,
• π — веса, присваиваемые различным компонентам потерь.
⚙️ Как это работает
Вместо того чтобы искать минимум фиксированной функции, мы одновременно подбираем и модель, и веса потерь — так, чтобы функция была максимально сбалансированной при заданных параметрах. Это позволяет получить парето-оптимальное решение, справедливо аппроксимирующее все уравнения и граничные условия без просадок в качестве.
Предлагаем алгоритм AdaptiveBGDA (Bregman Gradient Descent-Ascent):
• Градиентный спуск по параметрам модели (θ),
• Неевклидов подъём по весам потерь (π),
• Адаптивные шаги, вдохновлённые Adam и RMSProp.
Алгоритм обладает теоретическими гарантиями сходимости и показывает высокую эффективность на практике.
📊 Результаты
Тесты на 22 задачах из PINNacle-бенчмарка показали:
• Существенное снижение конфликтов между потерями,
• SOTA-результаты для разных архитектур:
• PINN: 72.7% задач,
• gPINN [4]: 86.4% задач,
• GAAF [5]: 90.1% задач.
Особенно заметны улучшения на задачах со сложной геометрией и несколькими доменами. Например, для трехмерного уравнения Пуассона с двумя доменами и препятствиями в области:
↪️ раньше —
1.02E-1 L2RE🔥 теперь —
4.78E-2 L2RE — даже без настройки параметров#разборстатьи
Смотри детали сравнения нашего обучения с другими методами в комментариях ⬇️