Точнее или дешевле

У ИИ в науке есть два основных применения. В первом нейросеть заменяет обычную модель прогноза — например, логистическую регрессию или случайный лес. Она требует больше времени, памяти и вычислительных мощностей, зато иногда лучше выявляет сложные зависимости в данных. Во втором нейросеть подменяет тяжёлый научный расчёт: учится на результатах симуляций, а затем воспроизводит их за долю прежнего времени.

Но до сих пор открытым оставался вопрос: насколько это экономически оправдано? Теперь ответ есть. Чтобы его получить, исследователи провели 2507 прямых сравнений методов из 268 работ по 27 дисциплинам. В 1122 случаях прежний метод полностью заменяли AI-based решением. К ИИ авторы отнесли свёрточные и рекуррентные сети, трансформеры, графовые сети, нейронные операторы и модели, учитывающие физические законы.

Сначала AI-based решения сравнили с регрессиями, случайным лесом, методом опорных векторов, ближайших соседей и гауссовскими процессами. Здесь нейросеть чаще оказывалась дорогим апгрейдом:

▪️в 59,6% сравнений нейросеть показывала лучший результат, но требовала больше вычислений;
▪️в 13,9% она одновременно была лучше и дешевле;
▪️в 23,6% случаев ИИ оказался и хуже, и дороже.

В работах с полными числовыми данными средний прирост качества составил 23,2%, а вычислительные затраты выросли примерно в десять раз.

Например, нейросеть определяла риск хронических заболеваний по данным медицинских опросов с точностью 95% против 85% у метода ближайших соседей, зато работала в 10,5 раза дольше. При прогнозировании тепловыделения отработанного ядерного топлива другая сеть увеличила среднюю ошибку с 4,28 до 5,56 и обучалась в 32 раза дольше гауссовского процесса.

Совсем другая экономика возникла при замене научных вычислений. Обычный симулятор много раз рассчитывает, например, движение атмосферы или взаимодействие атомов при разных исходных условиях. На этих результатах обучают суррогатную нейросеть. После обучения ей уже не нужно заново решать всю систему уравнений: она сразу предсказывает результат и учится на реальных наблюдениях.

В 41,1% таких сравнений ИИ оказался одновременно точнее и дешевле. Ещё в 44,8% он ускорял расчёт ценой некоторой потери точности. В числовой подвыборке вычислительные затраты снижались в среднем в 614 раз, медианное снижение составило 330 раз.

Со временем суррогатные модели стали заметно точнее. До 2012 года ИИ превосходил научные вычисления одновременно по качеству и стоимости только в 22,2% сравнений: ранние сети были прежде всего быстрым, но грубым приближением. В публикациях 2020–2024 годов картина изменилась: уже в 49,5% сравнений нейросеть одновременно превосходила прежний метод по качеству и требовала меньше вычислений. Ещё в 34,8% случаев она экономила ресурсы, но уступала по качеству.

Fake it till you make it. Симулируй, пока не... Ну, вы поняли.

@anti_agi